세상을 시각적으로 인식하는 VISION LANGUAGE MODEL 의 한계가 드러났습니다.
AI 모델의 앞날은 어떻게 될까요? 인공지능 모델의 큰 변혁이 다가오게 될까요?

지난 포스트에서, VISION LANGUAGE MODEL S ARE BLIND 라는 논문을 소개해드렸습니다.
VISION LANGUAGE MODEL 이 잘 익힌 지식으로 추론을 수행하지만 정작 이미지의 패턴 인식은 잘 하지 못할 가능성이 있다는 주장을 하여 연구계를 떠들썩하게 했다는 내용이었는데요,
해당 논문이 나온 후 이틀 뒤에 나온 논문 “MAVIS: Mathematical Visual Instruction Tuning”은 이 주장에 힘을 실어주는 모양새입니다.

지난 포스트 보기

VISION LANGUAGE MODEL 의 한계를 발견하다

CLIP 인코더는 다이어그램 등 단순한 이미지를 잘 인식하지 못합니다

마찬가지로 저번 포스트에서 소개드렸던 CLIP은 다양한 Multi-Modal Language Model 의 이미지 인코더를 담당하는데요,
CLIP은 풍부한 색상과 질감을 가진 실제 세계 장면을 캡처한 자연 이미지를 사용하여 사전 학습을 진행했습니다.
이는 GPT4o, Claude Sonnet, Gemini 등의 고성능 VISION LANGUAGE MODEL 의 이미지 인코더들도 마찬가지일 것입니다.
그런데, 위의 그림에서 확인할 수 있듯, 단색의 추상적인 곡선과 도형 및 기호로 구분된 수학 다이어그램 등에서 CLIP (가운데) 는 문제 풀이에 필요한 정보에 제대로 접근을 못하고 있습니다.

MAVIS는, 55만 8천 개의 도표-캡션 쌍으로 구성된 MAVIS-Caption을 큐레이팅하여, 대조 학습을 통해 수학 특화 비전 인코더 CLIPMath (이미지의 오른쪽) 을 Fine tuning 해내 이 문제를 해결하였습니다.
과연 두 연구는 커뮤니티에서 인정받고 VISION LANGUAGE MODEL에 대해 더 깊은 연구가 이루어지게 될까요?
인공지능 발전의 DEEP IMPACT가 될 수 있을까요?
지난 포스트에서 예고했듯, 세상을 바꾼 모델, 소개합니다!

생성 모델의 새로운 지평을 연 STABLE DIFFUSION

아이펠 과정에 참여중인 훈련생들이 스테이블 디퓨전으로 그린 예쁜 그림입니다 XD

인공지능을 기존의 데이터를 본떠 세상에 없는 데이터를 생성해내는 데에 활용하는 연구도 활발히 진행되었는데요,
특히 Diffusion Model은 고품질의 결과물과 다양하게 만들어 낼 수 있어 주목받았던 생성 모델입니다.
하지만 계산량이 많은 점 때문에 사용하기 어려운 단점이 있었습니다.

그러다가, Latent diffusion model (이하 LDM) 이 등장하게 됩니다.
LDM은 Variational AutoEncoder (VAE) 를 차용하여 픽셀 공간이 아닌 잠재 공간에서 생성을 수행하며, 필요한 연산량을 획기적으로 줄여주었습니다.
무려 논문의 세팅으로는 무려 48배 적은 숫자를 처리하게 된 것인데요,
이에 따라 PC에서도 Diffusion model을 실험해볼 수 있는 가능성이 열렸습니다.

이후 2022년, 영국의 Stability AI에서 이를 바탕으로 Stable diffusion을 오픈소스로 출시함에 따라, 그림 인공지능의 시대가 열렸습니다!
AI 이미지 서비스가 우후죽순으로 생겨났고, 이는 예술 생태계, 나아가 인공지능에 대한 관심과 친밀도 또한 크게 증가시켰죠.

일상의 파트너가 된 Chatbot과 VISION LANGUAGE MODEL

VLM의 3대강자 GPT CLAUDE GEMINI

2022년 11월, 오픈AI가 LLM GPT3 기반 챗봇 서비스 ChatGPT를 오픈하며 세계적으로 큰 반향을 일으켰습니다.
사용자의 질의에 맞춰 ChatGPT는 수준높게 지식을 설명하거나 번역, 요약 등의 작업을 수행할 수 있었습니다.
이후 구글도 Bard 를 거쳐 Gemini를, 앤트로픽에서도 Claude 시리즈를 출시하였으며, 각 모델들은 버전이 거듭남에 따라 이미지와 언어를 동시에 다룰 수 있는 VISION LANGUAGE MODEL 로 진화하였습니다.

VISION LANGUAGE MODEL로 사용자들의 업무와 생활에서의 생산성과 편의성이 크게 증가하였으며, 이들의 API를 활용한 교육, 사업 등 2차시장까지 가파른 성장세를 보이고 있습니다

프롬프트 잘 쓰는 꿀팁!

생성형 AI 활용을 더 잘하고 싶다면?

The Next Impact

다음의 큰 변혁은 어떤 AI 모델이 가져오게 될까요? 여기 큰 주목을 받는 두 가지 모델을 소개합니다

Mamba

트랜스포머 아키텍쳐는 GPT, Claude, Gemini 등의 VISION LANGUAGE MODEL부터 Stable diffusion 3나 Sora같은 이미지/비디오 생성모델까지 널리 쓰이며 우수함을 입증했습니다.
그런 트랜스포머 아키텍쳐도 문제점이 있었는데요, 처리하는 시퀀스가 길어질수록 계산 효율성이 떨어진다는 것이었습니다.
모델들의 크기가 점점 커져감에 따라 연구자들은 트랜스포머를 대체할 수 있는 모델을 물색하게 되었고, 그 중 올해 초에 발표된 Mamba가 큰 주목을 받았습니다.

Mamba는 유체역학의 상태 공간 모델 (State space model, SSM) 을 적용하여 Transformer를 능가하는 빠른 처리 능력과 효율적인 메모리 운용을 달성하였으며,
현재는 텍스트는 물론 이미지 및 비디오까지 처리하는 Mamba의 여러 버전이 연구되고 있습니다

Mamba가 더 궁금하다면?

Gaussian splatting

2D 이미지를 3D 객체로 변환하는 연구는 꾸준히 인기있는 주제입니다.
한동안 물체를 찍은 여러 장의 이미지를 입력 받아 새로운 시점에서의 물체 이미지를 만들어내는(View synthesis) 모델인 NeRF가 대세로 굳어져가는 듯 했지만, Nerf에는 치명적인 단점이 있었습니다.
바로 학습속도와 렌더링 속도가 지나치게 느리기 때문에, 고품질의 결과물을 만들기 어렵거나, 실시간 디스플레이를 만들 수 없다는 것입니다.

이런 상황에서, SIGGRAPH 2023에서 발표된 Gaussian splatting은 HD품질로 30FPS의 합성을 수행하며 큰 반응을 끌어냈습니다.
NeRF는 물체의 밀도와 휘도를 계산하는 함수를 훈련하여 3D 객체를 재구성하는 반면, Gaussian splatting은 3D 공간 상에 수 많은 3D Gaussian이 모여 하나의 Scene을 구성하고 있다고 가정합니다.
Gaussian splatting은 이 3D 가우시안의 최적화/밀도 제어를 번갈아 수행하며, 보다 적은 계산량으로 고품질의 이미지를 실시간 렌더링 할 수 있었습니다.

Gaussian splatting 논문까지 같이 공부하고 싶다면? 아이펠 온라인 과정 모집 중

마치며

AI가 점점 범용화되고 인간의 삶에 깊숙히 들어오게 되면서, 연구계 뿐만 아니라 세상을 바꾸고 있습니다.
다음 Deep Impact가 될 연구는 어떤 것이 될까요?
발전 속도에 맞추려면, 부지런히 AI를 공부해야겠네요 😎