로컬 디바이스에서 작동할 수 있는 Small Language Model (SLM)에 대한 관심이 증가하고 있습니다.
수십억 개 정도의 매개변수만으로 연산 작업을 단축시킨 것을 SLM으로 분류합니다. SLM은 적은 파라메터로 구성된 만큼 훈련에 필요한 컴퓨터 자원이 많이 절감되며, 추론에도 비용을 획기적으로 줄입니다.
이 뿐 아니라, 개인 정보 보호 개선 등의 장점을 가지며, 사용자 맞춤형으로 동작하는 데에 도 큰 모델보다 유리합니다.
이에 제한적인 하드웨어에서 실질적으로 사용 가능한 모델을 최적화 및 배포할 수 있는 것을 목표로 Microsoft, Alibaba 등의 빅테크들은 SLM을 제작하여 앞다투어 발표하고 있습니다.
특히 이번 주말간에는 Meta와 HuggingFace가 SLM 시리즈를 발표하였는데요, 이를 살펴보도록 합시다!

허깅페이스, Open SLM , SmolLM 공개

허깅페이스가 오픈 SLM SmolLM을 출시하였습니다!
이와 함께 허깅페이스는 어떻게 SLM의 성능 향상을 이루어내었는지 자세한 훈련 과정을 함께 발표하였습니다.
SmolLM은 135M, 360M, 1.7B 의 크기의 SLM을 두 가지의 형태, Pretraned model과 instruct tuning을 마친 모델로 제공합니다.
레포트에 따르면 SmolLM은 MMMU, Avg 등의 유효한 SLM 평가 벤치마크에서 비슷한 규모의 Qwen2, pythia 시리즈보다 높은 성능을 기록하였으며, 일부 벤치마크에서 Meta의 MobileLLM를 제치고 SOTA를 달성하였습니다.
또한 SmolLM 은 데이터 큐레이션 및 훈련에 대한 대부분의 세부 정보 또한 공개적으로 제공하여, SLM의 후속 연구에 기여합니다.
레포트를 통해 연구진은 훈련에 사용된 8B 토큰 규모의 smollm-corpus 를 공개하며, 훈련에 사용된 세팅, 파라메터와 훈련에서 관찰된 디테일을 함께 공개하였습니다.

SmolLM – blazingly fast and remarkably powerful

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Meta, MobileLLM 정식 출시

Meta가 지난 7월 발표한 MobileLLM을 한층 더 경량화하여 정식 출시 하였습니다!
MobileLLM은 사용자 장치 등에서 바로 사용할 수 있도록 1B 미만 규모로 최적화한 SLM 입니다.
레이어를 공유 하는 접근 방식, 세부적으로는 트랜스포머 블록을 단순히 복제하는 방식을 취하여 모델 크기를 증가시키지 않고도 정확도를 향상시켰으며, 네트워크 깊이 조정, 임베딩 공유를 통하여 작은 모델을 완성하였습니다.
MobileLLM은 125M, 350M, 600M 및 1B 모델을 오픈소스로 출시하였으며, 비슷한 규모의 파라메터로 구성된 SLM인 OPT, Pythia 등의 동등한 규모의 SLM 시리즈보다 10% 이상의 성능 격차를 이루어내며 SOTA를 달성했습니다.

GitHub – facebookresearch/MobileLLM: MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024.

MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024. – facebookresearch/MobileLLM

마치며

디바이스에 탑재되어 내 옆을 똑똑하게 지켜줄 비서, SLM의 발전을 기대해봅시다!