이틀 전, VISION LANGUAGE MODEL IS BLIND 라는 논문이 등장하며 연구 커뮤니티에서 큰 화제가 되었습니다.
GPT4o, Gemini 1.5, Claude Sonnet 3.5 등의 VISION LANGUAGE MODEL들이, 사실은 간단한 문제는 풀지 못한다는 내용입니다.

VISION LANGUAGE MODEL에 테스트한 일곱가지 문제 유형

논문 저자들은 그림처럼 선이 교차하는지, 동그라미 쳐진 알파벳이 어떤 알파벳인지 등, 사람이 쉽게 풀 수 있는 7가지의 태스크로 벤치마크를 구성하여 테스트를 수행했다고 합니다.
놀랍게도 모델들은 준비된 문제의 2/3 정도밖에 풀지 못해, 기대치보다 지나치게 낮은 퍼포먼스를 보여주었다고 합니다.
이에 저자들은 VISION LANGUAGE MODEL이 잘 익힌 지식으로 추론을 수행하지만 정작 이미지의 패턴 인식은 잘 하지 못할 가능성이 있다는 주장을 하면서, 큰 반향을 일으켰습니다.
이 연구가 커뮤니티에서 인정받고 VISION LANGUAGE MODEL에 대해 더 깊은 연구가 이루어지게 될까요? 인공지능 발전의 DEEP IMPACT가 될 수 있을까요?

연구 결과, VISION LANGUAGE MODEL들은 간단한 문제를 잘 풀지 못했습니다

—

일반적으로, 연구는 기존의 연구에서 도출해낸 사실을 토대로 개선을 이루어내는 방향으로 발전해오고 있습니다.
그럼에도 불구하고, 아주 어려운 방법인 “새로운 발견”이 천재적인 연구자들에 의해서 종종 이루어지며,
학계에 DEEP IMPACT를 불러 일으키고는 한답니다.

인공지능 역시 마찬가지인데요,
기존 모델의 결점을 보완하거나, 일부 구조를 차용하여 성능을 높이는 방향 등의 연구가 주로 이루어지지만,
연구계의 트렌드를 크게 선회 시키는 발표가 있었죠!
이 포스트에서는 그런 연구를 소개하려고 합니다.

DEEP NEURAL NETWORK의 재발견, CNN

딥러닝 이전 컴퓨터 비전의 연구는 사물의 특징을 컴퓨터가 더 특징점을 잘 추출할 수 있는 방법과,
추출한 특징점을 활용하여 컴퓨터가 추론을 더 잘 할 수 있는 방법론을 따로 연구되는 경우가 많았습니다.
이미지에서 특징으로 이야기 할 수 있는 객체 간의 경계선, 모서리, 색상과 명암을 추출하고,
이를 1차원적으로, 혹은 변화량을 계산하여 특징을 추출하였고 (Haar-cascade, HoG 등),
머신 러닝 혹은 다양한 알고리즘을 활용하여 (확률 모델 등) 객체를 구분해내는 식이었습니다.
Neural Network 역시 이런 기법 중 하나로 사용되었습니다.

Imagenet challange, ILSVRC

그러다가 2012 ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 콘테스트에서 기존의 연구결과를 아득히 뛰어넘는 모델이 등장했습니다.
바로 CNN인데요, 시각 정보를 계층적으로 추출하여 지역적인 특징과 전역적인 특징을 동시에 분석하여, 객체간의 시각적 차이를 잘 구분해내었습니다.
대회에서, CNN은 분류 정확도에서 2순위 모델과 10% 이상의 성능 차이를 보여주며 큰 반향을 일으켰습니다.

CNN Architecture, 출처 : https://nafizshahriar.medium.com

AlextNet이 더 궁금하다면 ?

이름 그대로 연구 트렌드를 변환시킨 LANGUAGE MODEL, 트렌스포머

딥러닝 연구가들은 더 좋은 모델을 만들기 위해 기존의 연구에서 여러 변화를 시도했습니다.
그 중에서도 모델의 구조 변화에 많이 매진했었는데요,
지역성을 가지며 이미지의 특징을 잘 캐치해내는 CNN 계통 모델과,
Sequential data를 잘 다루는 RNN 계통 모델이 점점 복잡해지는 방향으로 발전하였습니다.

트랜스포머를 소개한 논문, attention is all you need

2017년, 이런 복잡한 모델 구조를 사용하지 않고도 Attention Mechanism만을 사용하여 간단하게 자연어 처리 분야에서 SOTA (State of the Art)를 달성하는 모델이 등장했으니, 바로 트랜스포머입니다!
기존의 RNN 기반 모델들과 달리 어텐션을 통해 병렬 계산이 가능해졌고, 입력 시퀀스의 각 위치 간 관계를 전부 고려함으로써 문맥 이해력을 높혔습니다.
트랜스포머의 파급력은 그야말로 혁명적이었으며, 자연어 처리 분야 뿐만 아니라 이미지 처리 분야의 모델 또한 트랜스포머 구조를 차용하기 시작했습니다.
7년이 지난 지금, 트랜스포머 구조는 강화학습, 생성 분야까지 널리 사용되고 있습니다.

비전 트랜스포머 아키텍쳐의 개선을 연구한 아이펠 출신 탑티어 워크숍 논문 저자의 인터뷰가 궁금하다면 ?

VISION LANGUAGE MODEL 로의 다리, CLIP

전통적으로 이미지 처리 분야와 자연어 처리 분야는 분화되어 연구를 진행하는 경향이 짙었습니다.
두 분야를 병합하려는 시도들도 꾸준히 이루어졌었는데요, 이미지를 보고 자연어로 설명을 만들어내는 Image caption generation 등의 연구 분야가 이에 속했습니다.

OpenAI “CLIP” 구조

이런 연구들 중, 언어를 이미지로, 이미지를 언어로 이해할 수 있도록 연결점을 형성하는 딥러닝 모델인 CLIP이 등장했습니다.
대규모의 이미지-텍스트 데이터셋을 대조 학습 방식으로 훈련시켜, 연구자들이 원하는 Downstream task에도 사용할 수 있도록 제공되는 Pretrained 모델입니다.
Clip은 기존의 Vision model 훈련의 데이터 규모로 인한 어려움을 극복하고, 이미지와 텍스트를 양쪽에서 성공적으로 이해하는 VISION LANGUAGE MODEL 시대를 열었다고 평가하고 있습니다.

Clip을 응용한 프로젝트가 궁금하다면?

다음 포스트에서는, 연구계 뿐만이 아닌, 정말로 세상을 바꾼 모델과, 다가오는 Deep Impact를 소개해드릴게요!