오늘, 다양한 이미지 생성 기법이 발표되었습니다. 이 중 주목할만한 두 가지 기법을 소개해드립니다.

Diptych Prompting 을 통한 개선된 제로샷 이미지 프롬프팅

Subject 중심 텍스트-이미지 생성은 새로운 대상의 시각적 특성과 텍스트 프롬프트의 의미를 정확하게 포착하는 것을 목표로 합니다.
기존 방법들은 대상 정렬을 위해 시간과 자원이 많이 소요되는 미세 조정에 의존했지만, 최근 제로샷 접근법은 정확성을 희생하곤 했습니다.
이를 개선하기 위해 서울대학교 연구진은 ‘Diptych Prompting’이라는 혁신적인 제로샷 접근법을 제안합니다.
이 방법은 참조 이미지를 왼쪽 패널에 배치하고, 오른쪽 패널에 텍스트 기반 인페인팅을 수행합니다.
참조 이미지의 배경을 제거하고 패널 간 attention 가중치를 조정하여 원치 않는 콘텐츠 유출을 방지하고 세밀한 디테일을 개선합니다.
실험 결과, 이 접근법은 기존 제로샷 이미지 프롬프팅 방법들보다 뛰어나며 사용자들이 선호하는 이미지를 생성합니다.
나아가 대상 중심 생성, 스타일화된 이미지 생성, 대상 중심 이미지 편집 등 다양한 이미지 생성 응용 분야에서 그 활용 가능성을 입증했습니다.

DiptychPrompting

Chaehun Shin1 Jooyoung Choi1 Heeseung Kim1 Sungroh Yoon1,2,* 1 Data Science and AI Laboratory, ECE, Seoul National University 2 AIIS, ASRI, INMC, ISRC, and Interdisciplinary Program in AI, Seoul National University * Corresponding author [Paper] [Code](Coming Soon!)[BibTeX] Subject-driven text-to-image generation aims to produce images of a new subject within a desired context by accurately capturing both the visual characteristics of the subject and the semantic content of a text prompt.

물리기반 텍스쳐 자동 생성 프레임워크 Material Anything

상하이랩 연구진이 3D 객체를 위한 물리 기반 텍스쳐를 자동으로 생성하는 통합 diffusion 프레임워크, Material Anything을 제안하였습니다.
복잡한 파이프라인이나 사례별 최적화에 의존하는 기존 방법들과 달리, Material Anything 은 다양한 조명 조건에 적응할 수 있는 엔드-투-엔드 솔루션을 제공합니다.
사전 훈련된 이미지 diffusion model 을 기반으로, 트리플-헤드 아키텍처와 렌더링 손실을 통해 재질의 안정성과 품질을 개선했습니다.
또한, ‘Confidence Mask’를 도입하여 텍스처가 있거나 없는 객체를 다양한 조명 조건에서 효과적으로 처리할 수 있게 했습니다.
점진적인 텍스쳐 생성 전략과 UV-공간 텍스쳐 정제기를 사용해 일관되고 UV-준비 상태인 텍스쳐 출력을 보장합니다.
실험 결과, 다양한 객체 카테고리와 조명 조건에서 기존 방법들을 성능적으로 능가함을 증명했습니다.

Material Anything: Generating Materials for Any 3D Object via Diffusion

Generating Materials for Any 3D Object via Diffusion.