메타 라마 3.2 공개 – 첫 멀티모달 AI [모두레터]
메타가 새로운 AI 모델 라마 3.2 (Llama 3.2)를 발표했습니다. 컴퓨터나 스마트폰처럼 작은 기기에서도 쉽게 사용할 수 있다는 점이 가장 큰 특징입니다.
📮모두의연구소 공식 뉴스레터 I 모두레터 I 2024년 9월 30일
- 메타, 가벼운 AI 모델 ‘라마 3.2’ 공개
- Ai2의 오픈 소스 언어 모델 등장
메타, 가벼운 AI 모델 ‘라마 3.2’ 공개
©Meta
메타가 새로운 AI 모델 라마 3.2(Llama 3.2)를 발표했습니다. 이 모델은 컴퓨터나 스마트폰처럼 작은 기기에서도 쉽게 사용할 수 있다는 점이 가장 큰 특징입니다. 405B(매개변수 4050억) 모델이 포함된 ‘라마 3.1’ 모델은 성능이 매우 뛰어났지만, 크기가 커 작은 기기에서는 사용하기 어렵다는 의견이 있었다고 합니다.
이번 ‘라마 3.2’는 이미지 인식이 가능한 11B, 90B 크기의 LLM(Large Language Model)과 텍스트용 경량 모델(1B, 3B)로 구성되어 있습니다. 11B, 90B 모델은 차트와 그래프 등을 포함한 문서를 이해하고, 이미지 캡셔닝과 같은 이미지 추론 작업(이미지를 보고 설명하는 것)이 가능합니다. 1B, 3B 모델은 다국어 텍스트 생성 기능으로 여러 나라의 언어로 글을 쓸 수 있고요. 벤치마크 테스트 결과, 크기가 비슷한 다른 AI 모델인 ‘젬마 2 2B(Gemma 2 2B)’와 ‘파이 3.5 미니(Phi-3.5-mini)’와 비교해 비슷한 성능을 보였다고 하네요!
Ai2의 오픈 소스 언어 모델 등장
©Ai2
미국의 앨런인공지능연구소(Ai2, Allen Institute for AI)가 오픈 소스 언어 모델 ‘몰모(Molmo)’를 처음으로 공개했습니다. 몰모는 72B(매개변수 720억) 모델과 두 가지의 7B 모델, 전문가 혼합(MoE, Mixture-of-Experts) 기법을 적용한 MolmoE-1B 모델로 구성되어 있습니다.
Ai2는 대부분의 AI 모델들이 학습에 사용한 데이터를 공개하지 않는다는 점을 문제 삼았는데요. 몰모는 7B 오픈소스 모델(Molmo-7B-O)과 MolmoE 모델의 가중치뿐만 아니라 비전 인코더(vision encoder) 부분을 제외한 학습 데이터와 코드가 공개돼 있다는 사실을 강조하고 있습니다. 벤치마크 테스트에서 72B 모델과 7B 데모 모델(Molmo-7B-D)은 클로드, 제미나이, GPT-4o와 비슷한 결과를 보여주었습니다. 언어 모델의 경쟁이 매우 치열해지는 요즘, 몰모는 대표적인 AI 모델로 자리 잡을 수 있을까요?
노션으로 문서 관리를 하고 있나요?
🏷️추천 글 I #AX/DX #생산성 #Notion #UniqueID
내 프로젝트, 태스크, 문서들을 깔끔하고 명확하게 관리하고 싶은 분은 주목해 주세요🐱.
노션 데이터베이스에서 새 데이터를 생성할 때 고유 ID(Unique ID)를 자동으로 생성되게 할 수 있다는 것, 혹시 알고 있었나요?
