글 뿐만 아니라 음성, 사진, 영상을 입력으로 받아 다양한 형태의 콘텐츠나 데이터를 생성할 수 있는 Multimodal AI.
문서 데이터를 넘어 훨씬 다양한 형태의 데이터를 학습가능하게 하여 AI의 이해와 추론을 크게 향상시켰으며, 지속적으로 많은 주목을 받아 눈부신 발전을 이루고 있습니다.
사용자 경험이나 인터페이스 측면에서도 사용성과 접근성을 크게 개선할 수 있었는데요,
이런 강력한 성능과 활용성에 많은 연구자들은 처음 소개되었던 3년 전에 이어 2025 AI trend 중 하나가 될 것으로 예측되고 있습니다.

CLIP Structure

최초의 Multimodal AI, Clip

전통적으로 이미지 처리 분야와 자연어 처리 분야는 분화되어 연구를 진행하는 경향이 짙었습니다.
두 분야를 병합하려는 시도들도 꾸준히 이루어졌었는데요, 이미지를 보고 자연어로 설명을 만들어내는 Image caption generation 등의 연구 분야가 이에 속했습니다.
이런 연구들 중, 언어를 이미지로, 이미지를 언어로 이해할 수 있도록 연결점을 형성하는 딥러닝 모델인 CLIP이 2021년 등장했습니다.
대규모의 이미지-텍스트 데이터셋을 대조 학습 방식으로 훈련시켜, 연구자들이 원하는 Downstream task에도 사용할 수 있도록 제공되는 Pretrained 모델입니다.
Clip은 기존의 Vision model 훈련의 데이터 규모로 인한 어려움을 극복하고, 이미지와 텍스트를 양쪽에서 성공적으로 이해하는 Multimodal 시대를 열었다고 평가하고 있습니다.

이미지를 이해하는 텍스트 모델, LLaVa

LLaVa Architecture

Clip 이후에도 Flamingo, Blip 등의 시각 정보를 입력받아 필요한 답을 생성하는 Multimodal AI 연구가 지속되었습니다.
하지만 Clip의 기본 아이디어인 이미지-텍스트 쌍 데이터셋을 학습하는 형태에서 크게 벗어나지 못했습니다.
2023년 소개된 LLaVa는 이런 학습방식에서 벗어난 Visual instruction tuning 방식을 차용합니다.
이미지에서 추출한 정보 (Vision encoder를 통해 추출한 Feature) 와 언어 지시사항을 결합하여, GPT-4를 사용하여 지시 사항을 따르는 데이터를 생성합니다.
이후 Clip의 Visual encoder와 Vicuna를 사용, 생성된 데이터를 학습하여 LLaVa를 완성하였습니다.
LLaVa는 이미지와 사용자의 텍스트 입력에 대해 복잡한 시각적 정보를 이해하고 답변하는 능력을 보여주었으며,
이를 기점으로 ‘언어모델’ 이 ‘시각정보’를 ‘이해’ 하기 시작했다는 평과 함께 Multimodal AI 의 새로운 지평을 열었습니다.

이미지 + 텍스트 + @ 를 실현한 Multimodal AI , Palm-e

palm-e 가 수행가능한 태스크

2023년 발표된 구글의 Palm-e 는 언어모델을 기반으로 영상인식, 그리고 센서 데이터로부터의 보완을 통해 로봇 에이전트를 조작하도록 고안된 모델입니다.
텍스트, 이미지 및 센서로부터의 입력을 같은 공간으로 변환하는 encoder를 학습시켜 text로 입력에 따른 답변을 출력하도록 하였으며, 이를 로봇 제어에 사용하였습니다.
이로써 Palm-e는 모델의 학습 및 활용의 경계를 넓힌 Multimodal AI 로 평가받고 있습니다.

이제는 일상의 파트너, Multimodal Model 들

MultiModal AI 의 3대강자 GPT CLAUDE GEMINI

2022년 11월, 사용자의 질의에 맞춰 수준높게 지식을 설명하거나 번역, 요약 등의 작업을 수행할 수 있도록 돕는 챗봇, OpenAI ChatGPT 가 출시되었고,구글의 Gemini 와 앤트로픽의 Claude 가 뒤이어 선보였습니다.
2년이 지난 지금, 각 모델들은 버전이 거듭남에 따라 이미지와 언어를 동시에 다룰 수 있는 MultiModal MODEL 로 진화하였으며,
Qwen 시리즈, Pixtral 등의 오픈 모델이 상용 모델의 성능에 점점 근접해가고 있습니다.

마치며

2025 AI Trend 중 하나가 될 Multimodal AI 의 주요 발자취를 살펴보았습니다.
곧 발행될 두번째 예측도 기대해주세요 !

AI 국가대표 오순영 의장님과 하정우 소장님의 2025 AI Trend 예측 살펴보기

국가대표급 AI 전문가가 연사로 참여하는 모두콘 신청하기

글쓴 박퍼실이랑 소개된 모델 같이 공부하기