GLUE 벤치마크는 “강건하고 범용적인 자연어 이해 시스템의 개발” 이라는 목표로 만들어진 데이터셋입니다. GLUE는 자연어 처리 모델을 훈련시키고 그 성능을 평가 및 비교 분석하기 위한 데이터셋들로 구성되어 있습니다.

이미지 처리에서 다뤘던 데이터 preprocessing 할 때 활용할 수 있는 다양한 augmentation 방법에 대해 간단히 다룹니다. 데이터 증강은 이미지 처리 분야에서 학습했듯이, 데이터셋을 확장하여 모델의 성능을 개선하는 기술입니다.

인간의 피드백을 받은 강화학습 으로 언어모델을 훈련 및 보상하는 과정에 대해 소개합니다. RLHF와 같은 다양한 기법들이 현재 LLM 트렌드에 적합하며 특히 채팅시스템에서 유용하게 사용되고 있습니다.

Amazon SageMaker 를 활용하여 훈련을 하고 엔드포인트로 저장하는 절차를 소개합니다.

이 글에서는 BERT 임베딩 레이어 구현 세부 사항에 대해 설명할 것입니다. 구체적으로는 토큰 임베딩, 세그먼트 임베딩, 그리고 위치 임베딩(Position Embeddings)에 대해 다룰 것입니다.

ELMo 는 단어 표현의 두 가지 과제를 직접적으로 해결합니다. 기존 모델에 쉽게 통합될 수 있으며, 다양한 어려운 언어 이해 문제에서 모든 경우에서 최첨단 성능을 크게 향상시키는 새로운 유형의 심층적 맥락화된 단어 표현입니다.

Ray 를 활용해 파이썬 병렬화하는 방법을 소개합니다. Ray를 활용하면 Numerical Data를 효율적으로 처리할 수 있고상태를 유지하는 계산에 대한 추상화가 가능해지기 때문에 매우 유용한 툴입니다.

프론트엔드 개발자를 꿈꾸는 비전공자, 입문자 분들을 위해 프론트엔드 개발자 취업에서 어떤 것 부터 준비해야 하는지 빠르게 알아보아요!

결정계수 R-squared에 대한 설명입니다.결정력 이라고도 불리는 결정계수는  회귀분석의 성능 평가 척도 중 하나로 다음과 같은 특징을 갖고 있으며 머신러닝에서 대양한 환경에서 사용이 되고 있습니다.

Meena – 기존 챗봇 및 대화형 AI 시스템과는 다른 목표를 가지고 2020년도에 개발된 구글의 챗봇을 소개합니다. 보다 자연스러운 오픈 도메인 대화를 목표로 하며 다양한 주제에 대해 의미있고 구체적인 응답을 제공할 수 있는 능력을 갖추고 있습니다.