메타 라마(Meta Llama), 출시 이후 지금까지 [모두레터]
메타의 언어 모델 라마, 현재까지 허깅페이스에서 약 3억 5천만 번이나 다운로드됐다고 하는데요. 작년 이맘때 대비 무려 🔟배 이상이라는 사실, 알고 계셨나요?
📮모두의연구소 공식 뉴스레터 ⏐ 모두레터 ⏐ 2024년 9월 9일
- 메타의 라마, 출시 이후 지금까지
- ‘알파폴드3’를 위한 새로운 오픈 소스 프로젝트?
메타의 라마, 출시 이후 지금까지
©Meta
메타의 언어 모델 라마(Llama)는 작년 2월에 처음 출시된 이후 대표적인 LLM으로 자리잡았습니다. 그 당시 유명했던 오픈AI의 GPT나 구글의 팜(PaLM)과는 달리 오픈 소스로 공개되어 개발/연구 등에 널리 사용될 수 있었죠. 라마 모델은 지금까지 허깅페이스에서 약 3억 5천만 번 다운로드되었는데요. 작년 이맘때 대비 10배 이상의 기록이라고 합니다.
주요 클라우드 서비스에서의 사용량은 지난 5월부터 라마 3.1(Llama 3.1)이 출시된 7월까지 3개월 만에 2배 이상 증가했습니다. 8월 기준 라마 3.1 모델 중에서 사용자 수가 가장 많았던 것은 405B(파라미터 4050억 개) 버전이라고 하네요. 대부분의 오픈 소스 언어 모델이 파라미터 수억 개~수십억 개 크기인 것을 생각해 보면, 크고 성능 좋은 모델을 원하는 사람들에게 405B 모델이 좋은 선택지가 되었던 것 같습니다.
‘알파폴드3’를 위한 새로운 오픈 소스 프로젝트?
©Google DeepMind
구글 딥마인드가 개발한 단백질 구조 예측 모델 알파폴드3(AlphaFold3)는 바이오 분야에서 큰 의미가 있는 연구였지만, 오픈 소스가 아니었기 때문에 실제로 널리 사용되지는 못 했습니다. 그래도 알파폴드3의 논문에 모델의 전체적인 구조와 알고리듬이 설명돼 있기 때문에 직접 구현해 보려는 사람들이 있었는데요.
생명공학 분야의 스타트업 Ligo Biosciences에서 알파폴드3의 새로운 오픈 소스 구현체를 공개했습니다. 알파폴드3 논문과 단백질 구조 예측을 위한 오픈 소스 프로젝트 ‘오픈폴드(OpenFold)’코드를 주로 참고했다고 하네요. 이번에는 단일 사슬 단백질(monomer)을 위한 알파폴드3 모델과 훈련 코드가 공개되었고요. 리간드(ligand)와 다중 사슬 단백질(multimer) 등의 예측 기능은 학습이 완료되고 나서 공개될 예정이라고 합니다.
혹시 회사에서 노션을 쓰고 있나요?
노션에서 머메이드(Mermaid)를 사용하면 플로우, 사용자 여정, 마인드맵 등 여러 다이어그램과 차트를 단순한 코드로 만들 수 있습니다. 에디터에서 샘플 코드도 재공돼, 뚝딱뚝딱 만드는 재미도 있었어요!
