📮모두의연구소 공식 뉴스레터 #모두레터 ⎮  2024년 12월 30일

중국 딥시크 (DeepSeek), 6천억 파라미터 규모의 AI 모델 공개
알리바바, 최신 멀티모달 AI 모델 ‘QVQ’ 공개

중국 딥시크, 6천억 파라미터 규모의 AI 모델 공개

딥시크 V3 (DeepSeek V3) 깃허브 이미지

©DeepSeek

중국의 AI 기업 딥시크(DeepSeek)가 역대 최대 규모의 오픈소스 AI 모델 ‘딥시크-V3(DeepSeek-V3)’를 발표했습니다. 이 모델은 총 6710억 개의 매개변수를 가지고 있으며, MoE(Mixture-of-Experts, 전문가 혼합) 기법을 활용해 실제 연산에는 토큰당 370억 개의 파라미터만 사용하도록 설계되었습니다. 14조 8000억 개의 토큰으로 사전 훈련되었으며, 최대 12만 8000 토큰의 컨텍스트 창을 지원합니다.

벤치마크 테스트에서는 ‘라마 3.1’을 능가했고, API로만 접근 가능한 ‘GPT-4’와 같은 비공개 모델과 비교해도 우수한 성능을 보였습니다. 특히 Math-500 테스트에서 90.2점을 기록하며 ‘큐원’(80점)을 크게 앞섰는데요. 이는 H800 GPU 1개로 약 279만 시간, 총 557만 달러(82억원)라는 경제적인 비용으로 달성한 성과라고 합니다. 현재 딥시크-V3는 코딩, 번역, 에세이 작성, 이메일 작성 등 다양한 텍스트 작업을 수행할 수 있고, 허깅페이스와 깃허브에서 바로 사용해 볼 수 있다고 합니다.

GitHub – deepseek-ai/DeepSeek-V3

알리바바, 최신 멀티모달 AI 모델 ‘QVQ’ 공개

알리바바 QVQ 72B 커버 이미지

©Qwen

알리바바가 텍스트와 이미지를 동시에 이해하는 멀티모달 AI 모델 ‘QVQ’를 공개했습니다. 이 모델은 큐원 2.5(Qwen 2.5) 시리즈의 멀티모달 모델인 ‘큐원2-VL-72B’를 기반으로 개발되었는데요. MMMU와 MathVista 등 4가지 수학 관련 벤치마크 테스트에서 놀라운 성능을 보여주었습니다.

QVQ는 ‘GPT-4o’와 ‘클로드 3.5 소네트(Claude 3.5 Sonnet)’ 같은 최신 모델들을 뛰어넘는 성능을 보였고요. 고난도 추론에 특화된 오픈AI의 ‘o1’ 모델에 근접한 점수를 기록했다고 하네요. 하지만 아직 프리뷰 단계라서 순환 논리나 환각 현상이 발생할 수 있으며, 현재는 안전성과 윤리적 측면에서 추가적인 보완이 필요한 상태라고 합니다.

QVQ: To See the World with Wisdom

👉 12월 30일, 모두레터 전문 보기

📮 내 메일함에서 받아 보기