Dall.e , Midjourney 등으로 프롬프트에서 이미지를 생성하는 생성 AI 가 널리 알려져 있지만,
멀티모달 이전 이미지 생성 AI 기술은 역시 이미지 to 이미지였습니다.
이 분야도 꾸준히 큰 인기를 가지고 연구가 계속되고 있는데요,
오늘은 얼마 전, 그리고 바로 오늘 새로 발표된 이미지 기반 생성 AI 를 소개 해드리려고 합니다.

포켓몬 진화 과정을 보여주는 Framer

Framer는 두 이미지 사이를 보간하는 생성 AI 입니다.
기존의 보간 모델과는 달리 사용자가 직접 키포인트를 제어해서 보간된 프레임에서의 움직임을 정의할 수 있다는 특징이 있습니다.
따라서 시작 이미지와 다른 형태의 끝 이미지가 입력되더라도 키포인트 간의 대응을 설정한다면 보간이 조금 더 원활하게 만들어진다는 장점을 가집니다.
쇼케이스에서는 이러한 장점을 살려서 포켓몬의 진화 과정을 매끄럽게 생성해낼 수 있다는 것을 보여주고 있습니다.
사용자의 키포인트 입력이 없더라도 양방향 추적 시스템을 사용해서 자동으로 키포인트를 생성할 수도 있습니다.
Framer는 이미지 모핑, 타임랩스 비디오 생성, 카툰 보간 등에서 뛰어난 성능을 보여주고 있습니다.

https://aim-uofa.github.io/Framer/

다각도의 3D 텍스쳐를 고품질로 제작할 수 있는 생성 AI , MVPaint

텐센트와 중화권 대학 공동 연구진이 매끄러운 3D 텍스처를 생성하는 새로운 생성-개선 프레임워크, MVPaint를 선보였습니다.
기존의 텍스트-투-텍스처(T2T) 생성 방법들이 가진 부분적 불연속성, 다중 뷰 간의 불일치, UV 언래핑 결과에 대한 과도한 의존성 등의 문제점들을 해결하고자 했습니다.
MVPaint는 다중 뷰 이미지를 동시에 생성하는 SMG 모듈과 관측되지 않은 영역을 효과적으로 텍스처링 할 수 있는 S3I(공간 인식 3D 인페인팅) 모듈, 그리고 UV 공간에서 텍스처 품질을 향상시키고 불연속성을 수정하는 UVR 모듈로 구성됩니다.
연구자들은 Objaverse와 GSO 데이터셋을 기반으로 한 두 가지 벤치마크 테스트를 통해 성능을 평가했으며, 그 결과 MVPaint는 최소한의 야누스 문제와 향상된 교차 뷰 일관성을 보이며 기존의 최신 방법들을 능가하는 성능을 입증했습니다.

http://mvpaint.github.io