이미지 생성 AI 기술은 다양한 방면에서 활발하게 연구될 수 있는데요,
근래에 가장 많이 보이는 연구는 이미지에서 다양한 뷰 포인트를 생성해내거나, 비디오를 생성해내는 연구입니다.
바로 오늘 발표된 비디오를 풍부하게 만들어주는 이미지 생성 AI 기술 논문을 소개해드립니다.

하나의 동영상으로 여러 각도 촬영 가능한 생성 AI , ‘ReCapture’

구글과 싱가포르 국립대 공동 연구진이 단일 영상만으로도 다양한 각도의 새로운 영상을 만들어내는 혁신적인 AI 기술을 소개하였습니다. ‘ReCapture’로 명명된 이 기술은 스마트폰으로 촬영한 일반 동영상도 마치 여러 대의 카메라로 촬영한 것처럼 변환할 수 있습니다.
특히 이 기술은 원본 영상에서 보이지 않았던 부분까지도 자연스럽게 생성해내며, 영화적인 카메라 움직임까지 구현할 수 있습니다.
ReCapture는 두 단계로 작동합니다. MultiView diffusion model, depth-based point cloud rendering 을 활용해 새로운 각도의 초기 영상을 생성한 후에, masked video fine-tuning 기술로 자연스러운 최종 영상을 완성합니다.
ReCapture는 서로 매우 다른 종류의 영상과 장면들에도 놀라울 만큼 잘 적용되며, 대부분의 경우 복잡한 장면의 움직임, 피사체의 동작, 그리고 세세한 장면 디테일까지 완벽하게 재현해냅니다.

ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning

¹Google ²National University of Singapore We present ReCapture, a method for generating new videos with novel camera trajectories from a single user-provided video. Our method allows us to re-generate the source video, with all its existing scene motion, from vastly different angles and with cinematic camera motion.

단일 이미지를 3D/4D 장면으로 만들어주는 이미지 생성 AI DimensionX

홍콩과기대와 청화대 공동 연구진이 video diffusion을 통해 단일 이미지만으로도 사실적인 3D 및 4D 장면을 생성할 수 있는 프레임워크인 DimensionX를 소개하였습니다.
최근의 Video diffusion 모델들이 생생한 시각적 효과를 만들어내는 데 주목할 만한 성공을 보여왔지만, 생성 과정에서 공간적, 시간적 제어가 제한적이어서 3D/4D 장면을 직접 복원하는 데 한계가 있었습니다.
이를 극복하기 위해, 연구진들은 차원 변형 데이터로부터 차원 인식 LoRA를 학습함으로써 비디오 확산에서 공간적 요소와 시간적 요소를 분리하는 ST-Director를 소개하였습니다.
제어 가능한 video diffusion 접근 방식은 공간 구조와 시간 동역학의 정밀한 조작을 가능하게 하여, 공간 및 시간 차원의 조합으로 연속된 프레임에서 3D와 4D 표현 모두를 재구성할 수 있습니다.
또한 연구자들은 생성된 비디오와 실제 장면 간의 간극을 좁히기 위해 3D 생성을 위한 궤적 인식 메커니즘과 4D 생성을 위한 정체성 보존 노이즈 제거 전략을 도입하였습니다.

DimensionX

DimensionX: Create 3D and 4D Scenes from a Single Image with Controllable Video Diffusion