Llama 3 출시 : AI 전쟁의 서막 (메타 라마 시리즈, 2024 LLMs)
뜨거운 관심 속 공개된 메타의 차기작 라마 3 (Llama 3)와 이를 둘러싼 글로벌 빅테크 LLMs에 대해 이야기합니다.
작년 여름, ‘인류 역사상 가장 빠르게 발전하는 분야가 인공지능’이라는 첫머리로 라마(Llama) 2에 대한 글을 썼었는데요. 올해 봄, 뜨거운 관심 속 메타(Meta)에서 차기작 ‘라마 3 (8B, 70B)’를 공개했습니다.
라마 3는 라마 2보다 성능이 크게 향상된 것은 물론, 구글의 제미나이(Gemini)나 앤트로픽의 클로드(Claude) 등 주요 LLMs(Large Language Model, 대형 언어 모델)와 비교해도 비슷한 크기의 모델 중에서 가장 높은 성능을 보여주고 있는데요. 현재 훈련 중인 400B 이상의 모델도 이어 공개될 것이라 예고됐고, 오픈AI의 차세대 LLM 모델인 GPT-5도 올여름 중 출시될 것이라는 소문이 있죠. 2024년, 본격적인 AI 전쟁이 시작된 걸까요?💥
오늘은 주인공 라마 3, 그리고 함께 주목할 LLMs에 대한 이야기입니다. 주요 내용은 아래를 참고해 주세요! 🙂
- 2024 AI 전쟁의 서막 : 메타의 라마 3 (Llama 3)
- 라마 3와 함께 주목할 LLMs
- 오픈AI의 GPT-4o
- 앤트로픽의 클로드 3 (Claude 3)
- 구글의 제미나이 1.5 (Gemini 1.5) 등
- 라마 3 사용법
- 라마 3 향후 계획
- 참고 자료
1. 2024 AI 전쟁의 서막 : 메타의 라마 3 (Llama 3)
©Meta
✔️ Llama 3 주요 특징 (개선 사항)
| 라마 3 | 라마 2 | |
| 학습 데이터셋 크기 | 15T (15조 개) 토큰
✅7배 이상 증가, 대규모 사전학습 확장 ✅라마 3 pre-training 데이터셋 중 5% 이상을 30개 이상의 고품질 비영어권(non-English) 데이터셋으로 구성함, 단 성능이 영어와 같은 수준은 아님 |
2T (2조 개) 토큰 |
| 컨텍스트 길이 | 8K (8192)
✅2배 증가, 하지만 GPT-4의 128K에 비하면 상당히 작은 수준 |
4K (4096) |
| 모델 종류 | Llama-3-8B, 70B
✅400B⁺ 출시 예정 ✅멀티모달(Multimodal) 데이터를 이해하는 능력 및 다양한 언어를 지원하는 모델도 출시될 예정 |
Llama-2-7B, 13B, 70B |
| 아키텍처 | GQA
✅추론 효율성 개선 |
• 7B, 13B 버전: MHA(Multi-Head Attention)
• 34B, 70B 버전: GQA(Grouped Query Attention) |
| 토크나이저 | 128K 토큰을 보유한 새로운 토크나이저
✅언어를 더 효율적으로 인코딩해 성능 향상 (향상된 토큰 효율성) |
BPE SentencePiece (32K 토큰 보유) |
2. 라마 3와 함께 주목할 LLMs
오픈AI / GPT-4o
©OpenAI
2024년 5월, 오픈AI는 경쟁사 구글의 연례 개발자 컨퍼런스인 ‘Google I/O 2024’ 개최를 앞둔 시점에 신규 모델 ‘GPT-4o’를 공개했습니다. 모델명의 “o”는 “omni(모든)”의 줄임말로, 텍스트・오디오・이미지・비디오 등 다양한 형태의 데이터를 이해할 수 있다는 점을 강조한 것 같습니다. 오픈AI는 그동안 언어 모델 GPT뿐만 아니라 이미지 생성 모델, 음성 합성 모델 등을 꾸준히 개발해 왔습니다. 그 간의 연구 내용들을 바탕으로, 여러 모달리티(Modality)를 통합하고 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 측면을 강화한 결과가 이번 모델이지 않을까 싶습니다. 차기작 GPT-5도 올여름 출시 예정이라는 소문이 있는데요. ‘GPT-4o’의 멀티모달 성능에 GPT-5가 결합되면 얼마나 더 강력해질까요?
오픈AI / GPT-4 Turbo
©OpenAI
2023년 3월, GPT-3가 발표된지 3년 만에 오픈AI는 GPT-4를 발표했습니다. 그리고 같은 해 11월, 오픈AI가 개최한 개발자 컨퍼런스 ‘데브데이(DevDay)’에서 GPT-4의 새로운 버전 ‘GPT-4-터보(Turbo)’가 소개됐습니다.
컨텍스트 윈도우(Context window, 언어 모델이 파악할 수 있는 문맥)의 크기가 기존의 8192 토큰에서 128000 토큰으로 크게 증가했고요. 함수 호출(Function calling), JSON 모드 등 API를 사용할 때 유용하게 쓰일 수 있는 기능들이 개선됐습니다. 뿐만 아니라, 이미지 인식 기능이 추가된 GPT–4 비전(Vision)과 달리(DALL・E) 3, TTS 모델을 이제 API로도 사용할 수 있고요. 파인튜닝(Fine-tuning)과 사용자 정의(Custom) 모델 학습 기능도 시험적으로 제공했습니다. 마지막으로, 입력 토큰과 출력 토큰의 비용이 각각 기존 GPT-4 모델에 비해 세 배와 두 배 저렴하게 설계되어 더 많은 응용 프로그램과 개발자들이 고급 AI 도구를 보다 접근하기 쉽고 실용적으로 사용할 수 있도록 했습니다.
초격차 만든 오픈AI, 최신 정보로 무장한 ‘GPT–4 터보’ 출시 (Nov 13, 2023)
앤트로픽 / 클로드(Claude) 3
클로드 3 모델 패밀리 ©Anthropic
2024년 3월, 대화형 AI 모델 클로드(Claude)를 개발하고 있는 앤트로픽(Anthropic)이 신규 모델 ‘클로드 3’를 발표했습니다. 비용과 성능에 따라 하이쿠(Haiku), 소넷(Sonnet), 오푸스(Opus)의 세 가지 모델이 공개됐는데요. 이름이 꽤 예술적이죠. 이 중에서 가장 큰 모델인 오푸스는 여러 벤치마크 테스트에서 GPT-4, 제미나이 울트라(Gemini Ultra) 등의 모델들보다도 더 높은 점수를 기록했고요. 이미지 이해 태스크도 다른 최첨단 모델과 점수가 비슷했다고 해요.
또한, 클로드 3의 세 가지 모델 모두 이전보다 처리 속도가 향상되었는데요. 가장 가벼운 하이쿠 모델은 논문 한 편을 3초도 안 되는 시간에 읽을 수 있고요. 소넷 모델은 기존의 클로드 2, 클로드 2.1보다 두 배 빠르면서도 성능은 더 좋아졌다고 합니다.
구글 / 제미나이 1.5
2024년 2월, 구글의 최신 인공지능 모델 ‘제미나이(Gemini) 1.5’가 출시되었습니다. 이 모델은 최대 1백만 토큰을 처리할 수 있는 능력을 가지고 있어, 매우 큰 데이터를 한번에 분석할 수 있다고 해요. 또한, Mixture-of-Experts(MoE) 아키텍처를 사용해 여러 유형의 데이터를 효율적으로 처리하고, 다양한 입력에 대해 뛰어난 이해력과 추론 능력을 제공합니다. 개발자와 기업들이 더 유용하고 효과적인 애플리케이션을 개발할 수 있도록 돕는 것이 주요 목표라고 해요.
Our next-generation model: Gemini 1.5
미스트랄 AI / 미스트랄(Mistral) 8x22B
©Mistral AI
2024년 4월, Mixture-of-Experts(MoE) 기법을 사용한 믹스트랄(Mixtral) 8x7B 등 독창적인 언어 모델을 만들어오고 있는 미스트랄 AI(Mistral AI)에서 MoE 기법을 사용한 새로운 모델 ‘Mixtral 8x22B’를 공개했습니다. MoE 기법을 사용한 모델이 여러 개의 전문가(Expert) 모듈 중 일부만 사용해 비용을 적게 소모한다는 장점이 있었던만큼, 이번에도 이 부분을 강조하고 있습니다.
믹스트랄 8x22B 모델의 전체 파라미터 수는 141B(1410억 개)인데, 한번에 활성화되는 파라미터가 39B 정도라고 하는데요. 비용적인 측면 이외에도 영어, 프랑스어, 이탈리아어 등 5개 언어를 이해할 수 있고요. 수학과 코딩, 추론 등의 태스크에서도 70B 파라미터를 모두 사용하는 라마 2 70B 모델보다 벤치마크 테스트에서 높은 점수를 기록했다고 합니다.
믹스트랄 8x7B 뒤잇는 모델 나왔다 (Apr 22, 2024)
메타 / 라마(Llama) 2
©Meta
2023년 7월, 메타에서 오픈 소스 LLM ‘라마 2’를 공개했습니다. 가장 인기 있는 오픈 소스 LLM 중 하나로, 상업적으로도 연구용으로도 무료로 사용할 수 있도록 했죠. 라마 2는 기존 버전보다 40% 더 많은 2조 개의 토큰으로 학습됐으며, 컨텍스트 길이도 두 배 증가한 4096으로 설정되었습니다. 라마2는 파라미터의 수에 따라 ‘라마-2-7B, 13B, 70B’의 세 가지 모델이 제공되고요. 추론, 코딩, 지식 테스트 등 다양한 태스크를 포함하는 벤치마크 테스트에서 라마2는 MPT, Falcon 등의 다른 오픈소스 LLM보다 성능이 뛰어났습니다. 또한, 허깅페이스의 ‘오픈소스 LLM 리더보드’에서도 70B 모델은 1위를 기록, 7B와 13B 모델은 비슷한 크기의 다른 상위권 모델과 비슷한 성능을 보였습니다.
UAE 기술혁신연구소 / 팔콘(Falcon) 180B
©Ben Wodecki
2023년 9월, 아랍에미리트(UAE)의 기술혁신연구소에서 오픈소스 LLM ‘팔콘(Falcon)’의 180B 모델을 공개했습니다. 팔콘은 180B, 40B, 75B, 1.3B 모델을 제공하는데요. 팔콘 40B는 연구자와 상업 이용자 모두 로열티 없이 사용할 수 있는 모델이고요. 11개 언어와 잘 작동하며 특정 요구 사항에 맞게 미세조정(Fine-tuning)할 수 있습니다. 팔콘 180B 모델은 파라미터 수가 1800억 개, 모델 학습에 사용된 텍스트 토큰 수는 무려 3조 5천억 개에 이르는 거대한 모델인데요. 당시 허깅페이스의 오픈 LLM 리더보드에서 미세조정을 하지 않은 사전학습된 모델 중 가장 높은 순위를 기록했습니다. 오픈소스가 아닌 모델들과 비교하면 오픈AI의 ‘GPT-4’보다는 조금 낮지만, 파라미터 수가 2배 가까이 되는 구글의 ‘팜(PaLM) 2 Large’ 모델과는 비슷한 성능을 보였다고 합니다.
왕의 귀환! 가장 강력한 오픈 LLM (Sep 11, 2023)
3. 라마 3 사용법
모델 설치 없이 라마 3 모델의 성능을 가볍게 확인해 보고 싶다면, ‘그로크(Groq)’ 클라우드와 허깅 페이스의 ‘허깅챗(HuggingChat)’을 통해 무료로 이용해 보세요!
그로크에서 테스트 하기
©groq
| (1) 그로크 웹사이트(groq.com)에 접속한 후, 로그인을 합니다.
(2) 페이지 우측 상단에서 ‘Llama3-8B’ 모델과 ’70B’ 모델 중 원하는 모델을 선택합니다. (3) 선택한 모델을 사용해 라마 3의 성능을 테스트해 봅니다. |
허깅 페이스에서 테스트 하기
©Hugging Face
(1) 허깅페이스의 허깅챗(Hugging Chat) 페이지에 접속합니다.
(2) 회원가입 또는 로그인을 합니다. (비회원은 메시지 입력 횟수가 3회로 제한되니, 편리한 사용을 위해 회원가입을 권장) (3) 우측 톱니바퀴를 클릭한 후, ‘Meta-Llama-3-70B-Instruct’ 모델을 선택합니다. (4) 모델을 선택&변경한 후 해당 페이지에서 라마 3를 사용해 봅니다! |
4. 라마 3 향후 계획
©Meta
메타는 라마 3 8B, 70B보다 훨씬 큰 라마 3 400B를 학습 중이라고 하는데요. 초기 체크포인트(24.04.15 기준)의 성능은 GPT-4-터보(Turbo)보다 더 우수해, 최종 라마 3 400B의 성능은 GPT-4-터보를 뛰어 넘을 것으로 예측되고 있어요. 자세한 연구 논문도 이어서 발표될 예정이라고 합니다. 메타가 상용 모델보다 더 뛰어난 성능을 갖춘 오픈 소스 모델을 세상에 보여줄 수 있을지 기대가 되네요!
메타는 다음과 같은 새로운 기능을 포함한 여러 라마 3 모델을 공개할 예정입니다.
- 멀티모달(Multimodality)
- 여러 언어로 대화할 수 있는 기능
- 훨씬 더 긴 컨텍스트 윈도우(Context window)
- 전반적으로 더 강력한 능력
참고 자료
✔️ 라마 3 공식 소개 페이지 (메타, 허깅페이스)
Llama 3.1
The open source AI model you can fine-tune, distill and deploy anywhere. Our latest models are available in 8B, 70B, and 405B variants.
Welcome Llama 3 – Meta’s new open LLM
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
✔️ 라마 시작하기 (Getting started with Llama)
Documentation | Llama
This guide provides information and resources to help you set up Llama including how to access the model, hosting, how-to and integration guides.
✔️ 모두레터 (Moduletter)
