LLM 모델 발전 도식 출처: Yang et al. (2023) Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond.

openAI의 GPT3 발표 이후 대규모 언어 모델(Large Language Model, LLM)의 시대가 도래했다고 볼 수 있을 만큼 수많은 LLM들이 발표되었습니다.
더 많은 파라미터와 더 많은 학습 데이터는 더 높은 성능을 가져왔고 모델은 점점 커져 갔습니다. 하지만 이러한 거대 모델은 실제 사용에 있어 여러 가지 제약을 가져왔습니다. 학습이나 추론에 높은 컴퓨팅 파워가 요구되면서 비용의 문제로 인해 일부 빅테크 기업들만이 이러한 모델을 독점적으로 개발하고 사용할 수 있다는 우려의 목소리도 생겨났습니다.
이에 따라 소형 언어 모델(Small Language Model, SLM)이 주목 받기 시작했습니다.

SLM에 대한 주목

SLM은 LLM의 성능을 어느 정도 유지하면서 모델 사이즈를 줄여 실용성에 초점을 맞춘 모델입니다. 가벼운 모델 크기로 추론에 필요한 컴퓨팅 자원이 적고, 빠른 추론 속도를 가져 실시간 응답이 필요한 서비스에 더 적합하다는 장점이 있습니다.
모델의 사이즈가 줄어들면 학습에 필요한 비용도 줄어들지만, 추론에 필요한 비용도 줄어든다는 장점이 있습니다. 특히, AI에 대한 주목도가 높아진 만큼 AI 서비스의 수요도 증가하고 있습니다. 따라서 AI 서비스를 제공하는 기업의 입장에서는 추론에 사용되는 비용을 줄이는 것이 비용 절감의 중요한 포인트가 되어가고 있습니다. 추론 비용을 줄일 수 있는 다양한 방법 중에 하나로 SLM이 주목받고 있습니다.
또한, 온디바이스 모델에 대한 수요도 높아지고 있습니다. 디바이스에서 직접 추론을 수행하는 방식은 민감한 개인 정보 유출의 위험성이 낮고, 인터넷 연결 없이도 AI 기능을 사용할 수 있도록 하는 장점이 있기 때문입니다. 스마트폰이나 AIoT 기기들의 경우 컴퓨팅 리소스가 제한되어 있기 때문에 온디바이스 모델을 개발하기 위해서 SLM이 더욱 주목받고 있는 시점입니다.

올해 발표된 주요 SLM 모델

이러한 요구들에 맞춰 빅테크 기업들도 기존의 벤치마크를 갱신하는 대형 모델과 함께 합리적인 비용과 빠른 추론 속도를 내세우는 SLM 모델을 공개하고 있습니다.

Claude 3 Haiku

2024년 3월, Claude 3 Sonnet 모델이 공개되면서 3가지 사이즈의 Claude3 모델들의 벤치마크 성능도 함께 공개되었습니다. Sonnet 모델 공개 이후 얼마 지나지 않아 가장 작은 모델인 Haiku 모델도 사용할 수 있게 공개 되었습니다. 빠른 출력 속도와 당시 동급 성능의 모델에 비해 절반의 비용으로 사용할 수 있다는 것을 장점으로 내세웠습니다. 1달러로 400개의 대법원 판례 또는 2,500개의 이미지를 처리할 수 있다는 점을 강조했습니다.
Claude 3 Haiku: our fastest model yet

Gemini 1.5 flash

2024년 5월, Google I/O에서 Gemini의 새 버전인 Gemini 1.5 pro와 함께 발표된 모델입니다. 이미지 뿐만 아니라 비디오와 오디오도 처리할 수 있는 멀티모달 모델이며 1시간 정도의 비디오를 이해할 수 있는 Long-context를 가진 것을 장점으로 내세우고 있습니다.
Gemini Flash: Our lightweight model, optimized for speed and efficiency

오픈 소스 모델
closed 모델 뿐만 아니라 오픈 소스에서도 LLM과 함께 8B 정도 사이즈(80억개 파라미터)를 가진 SLM 모델들을 함께 공개하고 있습니다.
메타의 LlaMa3도 70B 모델과 함께 8B 모델을 공개했고, 구글의 Gemma2도 27B 모델과 9B을 함께 공개했으며, 마이크로소프트에서도 Phi-3-mini(3.8B), Phi-3-small (7B)을 공개했습니다.
특히 올해에는 오픈소스 모델에서도 이미지 입력을 지원하는 멀티모달 SLM이 잇달아 공개된 것이 특징입니다.
구글의 PaliGemma와 마이크로소프트의 Phi-3-vision모델입니다.

PaliGemma는 3B 사이즈의 VLM(vision-language model)로 SigLIP-So400m/14의 이미지 인코더와 Gemma-2B의 텍스트 디코더를 결합한 모델입니다. 이미지 캡션 생성(Image Captioning), 시각적 질문 답변(Visual Question Answering), 문서 이해(Document Understanding), 객체 감지(Detection), 객체 분할(Referring Expression Segmentation) 등을 수행할 수 있습니다.

PaliGemma, Gemma2 및 업그레이드 된 책임감 있는 AI 툴킷 출시
PaliGemma 데모 페이지

Phi-3-vision은 4.2B 사이즈의 VLM으로 CLIP ViT-L/14의 이미지 인코더와 Phi-3-mini의 텍스트 디코더를 결합한 모델입니다. 일반적인 이미지 이해(general natural image understanding), OCR, 표 해석 및 추론(chart/table/diagram understanding/reasoning) 등을 수행할 수 있고, PowerPoint 이해를 할 수 있는 점이 독특한 모델이라고 할 수 있습니다.

New models added to the Phi-3 family, available on Microsoft Azure
Phi-3-vision 모델 카드와 데모 페이지

openAI의 SLM 공개 – chatGPT4-o mini

기존 모델과 gpt-4o mini의 벤치마크 점수 비교

이러한 흐름에 openAI도 드디어 합류했습니다. 지난 금요일(2024년 7월 19일) chatGPT4-o mini가 공개되었습니다.
GPT3.5보다 높은 벤치마크 점수를 기록한 GPT4-o mini는 올해 발표된 주요 SLM들인 Claude Haiku, Gemini flash보다도 높은 벤치마크 점수를 보였습니다.
API를 통해서도 사용할 수 있고 입력 토큰 1M개 당 15센트, 출력 토큰 1M개 당 60센트로 기존의 GPT-3.5 turbo보다 60% 이상 저렴하게 이용할 수 있습니다.
ChatGPT에서도 무료, 플러스, 팀 사용자 모두 GPT-3.5 대신 GPT-4o mini를 사용하실 수 있습니다.

chatGPT에서 gpt 3.5 대신 gpt 4o mini를 사용할 수 있게 되었습니다.

chatGPT에서 gpt 3.5 대신 gpt 4o mini를 사용할 수 있게 되었습니다.

기존 모델보다 성능도 더 좋고, 이미지 처리도 가능한 모델을 더 저렴하게 이용할 수 있게 된 것입니다.
GPT-4o mini: advancing cost-efficient intelligence

현재 AI 분야에서는 모델의 성능을 높이는 것뿐만 아니라, 실제로 효율적인 AI 서비스를 제공하기 위한 연구도 활발히 진행되고 있습니다.
연구자들과 기업들은 더 적은 비용으로 더 뛰어난 성능을 갖춘 모델을 개발하고자 다양한 노력을 기울이고 있습니다. 이러한 맥락에서 SLM은 앞으로도 꾸준히 주목받을 것으로 예상됩니다.
또 어떤 모델들이 발표될지 지켜보시죠!