모두의 이야기 블로그

이틀 전, VISION LANGUAGE MODEL IS BLIND 라는 논문이 등장하며 연구 커뮤니티에서 큰 화제가 되었습니다. 세상을 시각적으로 인식하는 AI 모델의 앞날은 어떻게 될까요? 인공지능 모델의 큰 변혁, Deep Impact가 다가오게 될까요?

Ablation Study는 모델의 성능에 가장 큰 영향을 미치는 요소를 찾기 위해 모델의 구성요소 및 feature들을 단계적으로 제거 하거나 변경해가며 성능의 변화를 관찰하는 방법이며 모델의 핵심적인 구성요소와 하이퍼파라미터등을 파악할 수 있습니다.

Spatial Transformer Network 는 이미지 분류를 할 때, 특정 부분을 선택해 집중적으로 학습시키는 방법을 사용합니다. 이는 이미지를 변환해도 동일한 이미지로 인식하는 능력인 공간 불변성을 향상시키기 위한 것입니다.

어텐션 (attention)은 딥러닝 커뮤니티에서 가장 두드러진 아이디어 중 하나입니다. 이미지 캡션 생성과 같은 다양한 문제에 사용되고 있습니다. 하지만 원래는 Seq2Seq 모델을 사용한 신경망 기계 번역의 맥락에서 설계되었습니다.

대화형 AI 생성 모델에게서 더 좋은 답을 얻을 수 있는 Prompt Engineering 기법을 소개합니다

GLUE 벤치마크는 "강건하고 범용적인 자연어 이해 시스템의 개발" 이라는 목표로 만들어진 데이터셋입니다. GLUE는 자연어 처리 모델을 훈련시키고 그 성능을 평가 및 비교 분석하기 위한 데이터셋들로 구성되어 있습니다.

이미지 처리에서 다뤘던 데이터 preprocessing 할 때 활용할 수 있는 다양한 augmentation 방법에 대해 간단히 다룹니다. 데이터 증강은 이미지 처리 분야에서 학습했듯이, 데이터셋을 확장하여 모델의 성능을 개선하는 기술입니다.

인간의 피드백을 받은 강화학습 으로 언어모델을 훈련 및 보상하는 과정에 대해 소개합니다. RLHF와 같은 다양한 기법들이 현재 LLM 트렌드에 적합하며 특히 채팅시스템에서 유용하게 사용되고 있습니다.

Amazon SageMaker 를 활용하여 훈련을 하고 엔드포인트로 저장하는 절차를 소개합니다.

이 글에서는 BERT 임베딩 레이어 구현 세부 사항에 대해 설명할 것입니다. 구체적으로는 토큰 임베딩, 세그먼트 임베딩, 그리고 위치 임베딩(Position Embeddings)에 대해 다룰 것입니다.

ELMo 는 단어 표현의 두 가지 과제를 직접적으로 해결합니다. 기존 모델에 쉽게 통합될 수 있으며, 다양한 어려운 언어 이해 문제에서 모든 경우에서 최첨단 성능을 크게 향상시키는 새로운 유형의 심층적 맥락화된 단어 표현입니다.

Ray 를 활용해 파이썬 병렬화하는 방법을 소개합니다. Ray를 활용하면 Numerical Data를 효율적으로 처리할 수 있고상태를 유지하는 계산에 대한 추상화가 가능해지기 때문에 매우 유용한 툴입니다.

프론트엔드 개발자를 꿈꾸는 비전공자, 입문자 분들을 위해 프론트엔드 개발자 취업에서 어떤 것 부터 준비해야 하는지 빠르게 알아보아요!

결정계수 R-squared에 대한 설명입니다.결정력 이라고도 불리는 결정계수는  회귀분석의 성능 평가 척도 중 하나로 다음과 같은 특징을 갖고 있으며 머신러닝에서 대양한 환경에서 사용이 되고 있습니다.

Meena - 기존 챗봇 및 대화형 AI 시스템과는 다른 목표를 가지고 2020년도에 개발된 구글의 챗봇을 소개합니다. 보다 자연스러운 오픈 도메인 대화를 목표로 하며 다양한 주제에 대해 의미있고 구체적인 응답을 제공할 수 있는 능력을 갖추고 있습니다.

컴퓨터 비전 분야는 기존의 통계적 방법에서 딥러닝 신경망 방법으로 전환되고 있습니다. 비록 여전히 해결해야 할 많은 도전 과제가 존재하지만, 딥러닝 방법은 특정 문제에서 최첨단 결과를 달성하고 있습니다.

더미 변수(Dummy Variable) 는 범주형 데이터를 수치형 데이터로 변환하여 통계 분석 및 머신러닝 모델에 사용할 수 있게 하는 변수입니다. 더미 변수는 이진 변수로, 값이 0과 1로 할당되어 특정 범주에 속하는지를 나타냅니다.