GPT-4o 파인튜닝, 무료로 시작해 보세요! [모두레터]
이제 오픈AI가 GPT-4o 모델의 파인튜닝(fine-tuning)을 지원합니다. 이제 개발자들은 맞춤형 데이터셋으로 GPT-4o 모델을 미세 조정하여 성능을 향상시킬 수 있게 됐어요!
📮모두의연구소 공식 뉴스레터 I 모두레터 I 2024년 8월 26일
- 오픈AI, GPT-4o 파인튜닝 기능 출시
- MS, 소규모 언어 모델 ‘파이-3.5’ 출시
오픈AI, GPT-4o 파인튜닝 기능 출시
©OpenAI
오픈AI가 GPT-4o 모델의 파인튜닝(fine-tuning)을 지원합니다. 파인튜닝은 기업들이 AI를 특정 용도에 맞게 맞춤화할 수 있는 기능인데요. 개발자들의 요청이 가장 많았던 기능 중 하나였습니다. 이제 개발자들은 맞춤형 데이터셋을 활용해 모델을 미세 조정하여 성능을 향상시킬 수 있게 되었습니다. 비용은 모델 학습의 경우 100만 토큰 당 25달러이고요. 모델 추론은 입력 토큰 100만 개 당 3.75달러, 출력은 15달러입니다.
오픈AI는 코사인(Cosine), 디스틸AI(Distyl AI) 등의 기업과 협업하여 파인튜닝 성능을 실험했는데요. SWE-bench와 BIRD-SQL이라는 개발 분야 벤치마크에서 가장 높은 점수를 기록했다고 합니다. 또 오는 23일까지 모든 기관에 일일 최대 100만 개의 훈련 토큰, 200만 개의 GPT-4o 미니 학습 토큰이 제공될 예정이니 님도 참고해 주세요!
MS, 소규모 언어 모델 ‘파이-3.5’ 출시
©Hugging Face
마이크로소프트의 SLM(Small Language Model) 파이-3(phi-3)시리즈에 파이-3.5(phi-3.5) 모델이 추가되었습니다. 지난 4월에 파이-3 시리즈, 6월에 미니 인스트럭트(mini-instruct) 모델이 출시된 이후 두 달 만의 업데이트인데요. 이번에는 ‘미니 인스트럭트’와 MoE(Mixture of Experts) 기법이 사용된 ‘MoE 인스트럭트’, 그리고 이미지 인식 기능이 추가된 ‘비전 인스트럭트(vision-instruct)’의 세 가지 모델이 추가되었습니다.
마이크로소프트는 파이 시리즈를 개발하면서 모델 크기 대비 성능을 항상 강조해 왔는데요. 미니 인스트럭트 모델은 3.8B의 크기로도 7B~12B 모델과 비슷한 성능을 보였습니다. MoE 모델은 전체 크기가 42B지만 한번에 활성화되는 파라미터는 6.6B 정도로, GPT-4o 미니를 제외한 다른 SLM보다 벤치마크 테스트에서 높은 점수를 기록했다고 하네요.
