이미지 생성의 미래

인공지능 기술의 발전으로 이미지 생성과 3D 모델링 분야가 급속도로 성장하고 있습니다.
특히 최근에는 더 적은 리소스로 더 나은 결과물을 만들어내는 혁신적인 기술들이 등장하고 있습니다.
이 글에서는 3D 장면 생성의 게임 체인저 CAT3D와 이미지 생성의 새로운 패러다임을 제시하는 VAR 모델에 대해 자세히 알아보겠습니다.

CAT3D: 몇장의 이미지 생성으로 3D 세상을 만들다!

논문링크

CAT3D는 여러 개의 이미지를 사용하여 3D 장면을 생성하는 혁신적인 방법입니다.
이전 연구에서는 3D 장면 생성에 수천 개의 이미지가 필요했지만, CAT3D는 다중 시점 확산 모델을 사용하여 훨씬 적은 수의 이미지로도 사실적인 3D 장면을 생성할 수 있습니다.
CAT3D는 입력 이미지와 대상 시점 세트가 주어지면 장면의 새로운 시점을 생성하고,
이를 3D 재구성 기술과 결합하여 어떤 시점에서든 렌더링 가능한 3D 표현을 생성합니다.
CAT3D는 1분 안에 전체 3D 장면을 생성할 수 있으며, 기존의 단일 이미지 및 소수 시점 3D 장면 생성 방법보다 뛰어난 성능을 보입니다.
또한, 텍스트-이미지 모델을 사용하여 텍스트 프롬프트에서 3D 장면을 생성할 수도 있습니다.
CAT3D는 다양한 벤치마크에서 기존 방법보다 우수한 성능을 보이며, 텍스트-3D 및 단일 이미지-3D와 같은 작업에서도 효과적입니다.

VAR: 이미지 생성 속도와 품질, 두 마리 토끼를 잡다!

논문링크

이 논문은 이미지 생성에서 자기회귀 모델의 성능을 향상시키는 새로운 방법인 VAR(Visual Autoregressive) 모델링을 제안합니다.
VAR은 이미지를 ‘다음 토큰 예측’이 아닌 ‘다음 스케일 예측’으로 재정의하여 기존 자기회귀 모델의 속도와 성능을 크게 향상시킵니다.
이는 이미지를 여러 스케일의 토큰 맵으로 인코딩하고, 저해상도에서 고해상도로 순차적으로 예측하는 방식으로 이루어집니다.
VAR은 ImageNet 벤치마크에서 FID 1.73, IS 350.2를 달성하여 기존 AR 모델을 능가하며, DiT와 같은 최신 확산 모델보다 더 빠른 속도와 높은 데이터 효율성을 보입니다.
또한, 대규모 언어 모델에서 관찰되는 것과 유사한 스케일링 법칙을 따르며, 이미지 수정 및 편집과 같은 다운스트림 작업에서 제로샷 일반화 능력을 보여줍니다.

결론

CAT3D와 VAR은 각각 3D 장면 생성과 이미지 생성 분야에서 획기적인 발전을 이루어냈습니다.
CAT3D는 적은 수의 이미지로도 고품질 3D 모델을 생성할 수 있게 만들었고, VAR은 이미지 생성의 속도와 품질을 동시에 개선했습니다.
이러한 혁신적인 기술들은 향후 게임 개발, 가상 현실, 디지털 아트 등 다양한 분야에서 광범위하게 활용될 것으로 기대됩니다.
AI 기술의 발전이 계속됨에 따라, 우리는 더욱 효율적이고 고품질의 시각적 콘텐츠 생성을 경험하게 될 것입니다