모두의 이야기 블로그

어텐션 (attention)은 딥러닝 커뮤니티에서 가장 두드러진 아이디어 중 하나입니다. 이미지 캡션 생성과 같은 다양한 문제에 사용되고 있습니다. 하지만 원래는 Seq2Seq 모델을 사용한 신경망 기계 번역의 맥락에서 설계되었습니다.

GLUE 벤치마크는 "강건하고 범용적인 자연어 이해 시스템의 개발" 이라는 목표로 만들어진 데이터셋입니다. GLUE는 자연어 처리 모델을 훈련시키고 그 성능을 평가 및 비교 분석하기 위한 데이터셋들로 구성되어 있습니다.

이미지 처리에서 다뤘던 데이터 preprocessing 할 때 활용할 수 있는 다양한 augmentation 방법에 대해 간단히 다룹니다. 데이터 증강은 이미지 처리 분야에서 학습했듯이, 데이터셋을 확장하여 모델의 성능을 개선하는 기술입니다.

인간의 피드백을 받은 강화학습 으로 언어모델을 훈련 및 보상하는 과정에 대해 소개합니다. RLHF와 같은 다양한 기법들이 현재 LLM 트렌드에 적합하며 특히 채팅시스템에서 유용하게 사용되고 있습니다.

Amazon SageMaker 를 활용하여 훈련을 하고 엔드포인트로 저장하는 절차를 소개합니다.

이 글에서는 BERT 임베딩 레이어 구현 세부 사항에 대해 설명할 것입니다. 구체적으로는 토큰 임베딩, 세그먼트 임베딩, 그리고 위치 임베딩(Position Embeddings)에 대해 다룰 것입니다.

ELMo 는 단어 표현의 두 가지 과제를 직접적으로 해결합니다. 기존 모델에 쉽게 통합될 수 있으며, 다양한 어려운 언어 이해 문제에서 모든 경우에서 최첨단 성능을 크게 향상시키는 새로운 유형의 심층적 맥락화된 단어 표현입니다.

Ray 를 활용해 파이썬 병렬화하는 방법을 소개합니다. Ray를 활용하면 Numerical Data를 효율적으로 처리할 수 있고상태를 유지하는 계산에 대한 추상화가 가능해지기 때문에 매우 유용한 툴입니다.

결정계수 R-squared에 대한 설명입니다.결정력 이라고도 불리는 결정계수는  회귀분석의 성능 평가 척도 중 하나로 다음과 같은 특징을 갖고 있으며 머신러닝에서 대양한 환경에서 사용이 되고 있습니다.

Meena - 기존 챗봇 및 대화형 AI 시스템과는 다른 목표를 가지고 2020년도에 개발된 구글의 챗봇을 소개합니다. 보다 자연스러운 오픈 도메인 대화를 목표로 하며 다양한 주제에 대해 의미있고 구체적인 응답을 제공할 수 있는 능력을 갖추고 있습니다.

컴퓨터 비전 분야는 기존의 통계적 방법에서 딥러닝 신경망 방법으로 전환되고 있습니다. 비록 여전히 해결해야 할 많은 도전 과제가 존재하지만, 딥러닝 방법은 특정 문제에서 최첨단 결과를 달성하고 있습니다.

더미 변수(Dummy Variable) 는 범주형 데이터를 수치형 데이터로 변환하여 통계 분석 및 머신러닝 모델에 사용할 수 있게 하는 변수입니다. 더미 변수는 이진 변수로, 값이 0과 1로 할당되어 특정 범주에 속하는지를 나타냅니다.

완전 합성곱 네트워크 (Fully Convolutional Networks, FCN) 은 계층적 특징을 생성하는 기존 합성곱 네트워크를 개선한 모델입니다. 완전 합성곱 네트워크가 단독으로 학습되어, 픽셀 단위로 최첨단 의미론적 세분화 성능을 높입니다. 임의 크기의 입력을 받아 효율적인 추론 및 학습으로 대응하는 크기의 출력을 생성하는 "완전 합성곱" 네트워크를 구축합니다.

네트워크 인 네트워크 (Network In Network, NIN) 라는 새로운 깊은 네트워크 구조를 제안합니다. 이 구조는 수용 영역 (receptive field) 내의 로컬 패치 (local patch) 에 대한 모델의 판별력을 향상시키기 위해 고안되었습니다.

테스트 타임 증강(Test Time Augmentation, TTA)은 데이터 증강 (Data Augmentation)과 유사하게 테스트 이미지에 무작위 변형을 적용하는 방법입니다. 데이터 증강은 신경망의 성능을 향상시키기 위해 훈련 데이터를 늘리고 일반화 능력을 높이는 방법입니다. 회전, 확대, 이동, 반전 등 다양한 변형을 통해 입력 데이터를 무작위로 변형하여 모델이 동일한 예제를 두 번 볼 일이 없게 합니다. 이는 모델이 인식해야 할 클래스에 대한

상관관계와 인과관계는 데이터 분석, 연구, 그리고 일상적인 의사결정에서 매우 중요한 개념입니다. 이 두 개념을 이해하고 구분하기 어렵지만 두 개념을 혼동하지 않아야 합니다. 상관관계와 인과관계는 엄격한 통계기법과 실험으로 구분가능합니다.

파이썬에서 `del` 명령어는 특정 변수, 자료형 요소 또는 객체를 삭제하는 데 사용됩니다. 이는 메모리 관리를 돕고 불필요한 변수나 데이터를 제거하여 불필요한 연산을 줄이고, 가독성을 높여 코드의 효율성을 높입니다.

생성형 AI (GENERATIVE AI)기술은 무엇이고 이 기술을 활용하여 성공적인 비즈니스를 만드는 전략에 관해 이야기 합니다. 본 글의 목차는 1)생성형 AI란?, 2)생성형 AI시장 생태계 및 비즈니스, 3) 생성형 AI 비즈니스 성공전략, 4)마무리 로 구성되어 있습니다.