모두의 이야기 블로그

YOLOv5 모델은 백본으로 CSP-Darknet53, 그리고 넥은 SPP (Spatial Pyramid Pooling) 와 PANet, YOLOv4 에서 사용된 헤드입니다.

단일 샷 탐지기 (Single Shot Detector)는 컴퓨터 비전 분야의 객체 탐지 알고리즘입니다. SSD는 이미지나 비디오 프레임 내 객체를 신속하고 정확하게 탐지하고 위치를 찾는 능력으로 주목받고 있습니다. SSD의 특별한 점은 딥 뉴럴 네트워크를 한 번만 통과하여 이 작업을 수행할 수 있어 매우 효율적이며 실시간 애플리케이션에 이상적입니다.

이제 오픈AI가 GPT-4o 모델의 파인튜닝(fine-tuning)을 지원합니다. 이제 개발자들은 맞춤형 데이터셋으로 GPT-4o 모델을 미세 조정하여 성능을 향상시킬 수 있게 됐어요!

오픈소스 언어 모델 팰컨(Falcon)을 개발한 연구 기관 TII가 발표한 새로운 언어 모델 '팰컨 맘바 7B(Falcon Mamba 7B)'에 대해 알아봅시다.

올해 다양한 소형언어모델(SLM)이 공개된 가운데 openAI도 GPT4o-mini를 공개하면서 대열에 합류했습니다. SLM은 왜 이렇게 주목받게 된 걸까요?

SIMD는 Single Instruction Multiple Data의 줄임말로, 하나의 명령어로 여러개의 데이터를 한번에 처리하는 병렬화하는 프로그래밍 방법을 소개합니다. SIMD는 동영상 렌더링 처리와 같이 대용량데이터처리에 효과적입니다.

pose estimation이란 사람의 인체 부위를 각 찾아내서 인체의 움직임을 표현하는 task입니다. 과거에는 효율성과 정확성의 한계로 인해 거의 사용되지 않았으나, 딥러닝의 도입으로 관련 산업이 크게 발전하고 있습니다.

Ablation Study는 모델의 성능에 가장 큰 영향을 미치는 요소를 찾기 위해 모델의 구성요소 및 feature들을 단계적으로 제거 하거나 변경해가며 성능의 변화를 관찰하는 방법이며 모델의 핵심적인 구성요소와 하이퍼파라미터등을 파악할 수 있습니다.

Spatial Transformer Network 는 이미지 분류를 할 때, 특정 부분을 선택해 집중적으로 학습시키는 방법을 사용합니다. 이는 이미지를 변환해도 동일한 이미지로 인식하는 능력인 공간 불변성을 향상시키기 위한 것입니다.

어텐션 (attention)은 딥러닝 커뮤니티에서 가장 두드러진 아이디어 중 하나입니다. 이미지 캡션 생성과 같은 다양한 문제에 사용되고 있습니다. 하지만 원래는 Seq2Seq 모델을 사용한 신경망 기계 번역의 맥락에서 설계되었습니다.

GLUE 벤치마크는 "강건하고 범용적인 자연어 이해 시스템의 개발" 이라는 목표로 만들어진 데이터셋입니다. GLUE는 자연어 처리 모델을 훈련시키고 그 성능을 평가 및 비교 분석하기 위한 데이터셋들로 구성되어 있습니다.

이미지 처리에서 다뤘던 데이터 preprocessing 할 때 활용할 수 있는 다양한 augmentation 방법에 대해 간단히 다룹니다. 데이터 증강은 이미지 처리 분야에서 학습했듯이, 데이터셋을 확장하여 모델의 성능을 개선하는 기술입니다.

인간의 피드백을 받은 강화학습 으로 언어모델을 훈련 및 보상하는 과정에 대해 소개합니다. RLHF와 같은 다양한 기법들이 현재 LLM 트렌드에 적합하며 특히 채팅시스템에서 유용하게 사용되고 있습니다.

Amazon SageMaker 를 활용하여 훈련을 하고 엔드포인트로 저장하는 절차를 소개합니다.

이 글에서는 BERT 임베딩 레이어 구현 세부 사항에 대해 설명할 것입니다. 구체적으로는 토큰 임베딩, 세그먼트 임베딩, 그리고 위치 임베딩(Position Embeddings)에 대해 다룰 것입니다.

ELMo 는 단어 표현의 두 가지 과제를 직접적으로 해결합니다. 기존 모델에 쉽게 통합될 수 있으며, 다양한 어려운 언어 이해 문제에서 모든 경우에서 최첨단 성능을 크게 향상시키는 새로운 유형의 심층적 맥락화된 단어 표현입니다.

Ray 를 활용해 파이썬 병렬화하는 방법을 소개합니다. Ray를 활용하면 Numerical Data를 효율적으로 처리할 수 있고상태를 유지하는 계산에 대한 추상화가 가능해지기 때문에 매우 유용한 툴입니다.