‎인류 역사상 가장 빠르게 발전하는 분야가 인공지능(AI)이지 않을까 싶은데요. AI 분야에서 가장 핫한 키워드 중 하나가 바로 대형 언어 모델(Large Language Model, LLM)일 거예요. 오늘 다룰 내용은 이 LLM에서 요즘 가장 뜨거운 라마 2 (Llama 2)에 대한 이야기입니다. 주요 내용은 아래를 참고해 주세요!

메타의 라마(LLaMA)란? 라마와 비슷한 모델은 무엇이 있을까?
최근 ‘라마 2’에 세계가 열광하는 이유
‘라마 2’ 사용법
참고 자료

New! Llama 3 출시 : AI 전쟁의 서막 (메타 라마 시리즈, 2024 LLMs)

다음편 보러가기

1. 메타의 라마(LLaMa)란?

LLaMA는 ‘Large Language Model Meta AI’의 약자로, 올해 초 메타가 공개한 대규모 AI 언어 모델입니다. 70억에서 650억 매개변수(Parameter)에 이르는 다양한 모델 크기가 학습되었죠.

메타가 이 모델을 한정적인 학술 연구원을 대상으로 공개한 것이 알파카(Alpaca), 비큐냐(Vicuna) 등의 수많은 파생형 모델들의 탄생에 기여했다고 해요.

최근 주요 LLM 타임라인 (출처: https://brunch.co.kr/@brunchgpjz/49)

이와 비슷한 AI 언어 모델은 무엇이 있을까요? 대표적으로 오픈AI의 ‘챗GPT’와 구글의 ‘바드(Bard)’가 있는데요. 글로벌 열풍을 이끈 ‘챗GPT’는 ‘Generative Pre-trained Transformer’의 약자로, 오픈AI에서 개발한 GPT-3.5 기반의 대화형 AI 챗봇이고요. 바드(Bard)는 구글이 자사의 AI 모델인 람다(LaMDA)를 기반으로 공개한 대화형 언어 모델이에요.

2. Llama 2에 열광하는 이유

본론으로 들어가서, 최근 AI 업계가 Llama 2에 열광하는 이유에 대해 알아볼까 해요!

메타는 지난 18일에 라마의 다음 버전인 Llama 2를 소개하면서, 다음과 같은 이야기를 했어요.

"소프트웨어가 개방돼 있으면 더 많은 사람이 빠르게 문제를 찾아내고 식별하고 해결할 수 있어 안전과 보안을 향상시킬 수 있다." - 마크 저커버그(메타 CEO)

이처럼 메타는 Llama 2를 상업적으로도 이용 가능한 오픈 소스로 세상에 공개했습니다🌐. 이 점이 Llama 2의 차별적인 강점으로 꼽히고 있죠. 이어서 경량화가 있습니다. Llama 2는 매개변수 규모에 따라 세 가지 모델(70억 개, 130억 개, 700억 개)로 제공되는데요. 거대 컴퓨팅 자원을 갖출 수 없는 신생 기업이나 개발자도 적절한 모델을 선택해 연구 및 상업적 활용을 가능하도록 했어요. AI 윤리와 책임성(Responsible AI)에 대해 사회적 관심이 높은만큼, 안전성과 유용성에 대한 보상 모델을 제작한 것 또한 임팩트 있는 점인 것 같아요.

Llama 2 특징

Llama 2는 기존 버전보다 40% 더 많은 2조 개의 토큰으로 학습되었어요(1.4T→2T 토큰).
컨텍스트 길이도 2배 증가한 4096으로 설정됐습니다(2K→4K).
매개변수 규모에 따라 세 가지 모델이 제공됩니다(Llama-2-7B, 13B, 70B).
안전성(Safety)과 유용성(Helpfulness)을 위한 두 보상 모델(Rewards Model, RM)을 만들었어요.
추론, 코딩, 지식 태스크를 포함하는 벤치마크 테스트에서 ‘MPT’, ‘Falcon’ 등의 타 LLM들보다 성능이 뛰어났어요.
무료로 상업적 이용이 가능합니다. 단, 월간 활성 사용자(MAU)가 7억 명⁺의 회사가 활용할 경우 메타와 별도의 라이센스 계약이 필요해요.
MS와의 파트너십을 더욱 확대할 예정이에요.

Llama 2 모델 벤치마크. ©Meta AI

Llama 2 안전성(왼쪽) & 유용성(오른쪽) 벤치마킹. ©Meta

3. 라마 2 다운로드 방법

요약: 메타 사이트 접속 ➔ 모델 접근(Access) 신청 ➔ 접근 허가 메일 확인 ➔ 메타 AI 깃허브 이동 ➔ ‘download.sh’ ⚠️다운로드 오류

1) 우선 아래 메타 사이트에 접속하고, [모델 다운로드] 버튼을 클릭합니다.

Llama 3.1

The open source AI model you can fine-tune, distill and deploy anywhere. Our latest models are available in 8B, 70B, and 405B variants.

2) 모델의 접근 신청을 위해 간단한 정보를 작성해요.

3) 신청서에 기입한 이메일 주소로 발송된 ‘접근 허가’ 메일을 확인해요.

현재 기준(7/31) 신청서 제출 후 몇 분 뒤에 메일이 바로 도착했습니다. 메일에는 모델의 사용법과 주의사항 등이 간략히 적혀있습니다. 아래와 같이, “제공된 고유 URL은 24시간 동안 유효하며, 각 모델을 최대 5회까지만 다운로드할 수 있다”고 주의를 주고 있네요.

⚠️The unique custom URL provided will remain valid for model downloads for 24 hours to download each model up to 5 times, and requests can be submitted multiple times. Now you’re ready to start building with Llama 2.

4) 메타 AI 깃허브 이동 & download.sh

URL을 통해 모델을 다운로드 받기 위해, 메타 깃허브에 접속했어요. 제 PC(맥북 프로)에서 터미널을 켠 후, 아래와 같은 명령어를 입력했습니다.

git clone https://github.com/facebookresearch/llama.git
cd llama
chmod 755 download.sh
./download.sh

download.sh를 성공적으로 작동시키면 다음과 같은 텍스트가 나올 거예요.

Enter the URL from email:

이곳에 메일로 받은 접근(Access) URL을 붙여넣기 하면 됩니다. 그러면 아래와 같이 원하는 모델의 사이즈를 선택하라는 텍스트가 뜰 거예요! 전 가장 작은 7B를 다운로드하려고 합니다.

Enter the list of models to download without spaces (7B,13B,70B,7B-chat,13B-chat,70B-chat), or press Enter for all

실제 실행 화면

5) 다운로드 오류

ERROR 403: Forbidden 화면

거의 다 온 것 같은데 403 에러가 발생했네요🫥.

구글링 해 보니 다운로드에 성공하려면 성공할 때까지 계속 실행해 보거나, 새로운 접근 URL을 받아야 한다는 팁을 얻었어요. 메타도 깃허브를 통해 아래와 같이 해당 이슈에 대한 가이드를 주고 있네요! 이번 글은 여기서 마치겠습니다.

⚠️7/18: We're aware of people encountering a number of download issues today. Anyone still encountering issues should remove all local files, re-clone the repository, and request a new download link. It's critical to do all of these in case you have local corrupt files.

참고 자료

2024/04/09 New! Llama 3 출시 예정

Llama 3의 가장 큰 버전이 올 여름 출시 예정이며, 작은 두 모델은 곧 출시될 예정이라고 해요.
Llama 3는 오픈AI의 GPT-4와 같이 이미지 기반 질문 답변 기능을 갖추며, 가장 큰 버전은 텍스트와 이미지 모두를 이해하고 생성할 수 있는 멀티모달 모델이 될 것으로 기대된다고 하네요!

2023/11/01

메타가 공개한 Llama 사용법

Documentation | Llama

This guide provides information and resources to help you set up Llama including how to access the model, hosting, how-to and integration guides.

2023/08/01

Llama 2 for Colab – 코랩에서 라마 2를 돌려 볼 수 있어요.

2023/08/03

Perplexity Labs에서 챗GPT처럼 Llama 2를 체험해 볼 수 있어요. 13B와 70B 둘 다 써 봤는데, 한국어는 못 하네요:( 아직은 유용성 측면에서 챗GPT를 대체하긴 어렵다 느꼈습니다. 라마 화이팅! 💪

실제 실행 화면. ©PERPLEXITY LABS