스테이블 디퓨전 모델은 인코더, 디코더 외에도 디노이징에 관여하는 샘플러, 조건을 반영시키는 컨디셔닝 등 다양한 컴포넌트로 이루어져 있습니다.
이런 컴포넌트의 개량으로, 기존 모델은 뛰어난 향상을 보이기도 합니다.

스테이블 디퓨전 의 샘플러를 스타일 맞춤형으로 개량! SNR Sampler

최근 디퓨전 모델은 고품질 이미지를 생성하지만 새롭고 개인화된 예술 스타일 학습에는 한계가 있습니다. 이를 해결하기 위해 서울대학교 연구진들이 Style-friendly SNR 샘플러를 제안하였습니다. SNR 샘플러는 미세 조정 과정에서 신호 대 잡음비 분포를 높은 노이즈 수준으로 이동시켜 스타일적 특징을 더 잘 포착합니다. 기존의 사전 학습된 목적 함수와 노이즈 분포를 그대로 사용하는 대신, 스타일에 최적화된 새로운 접근 방식을 도입함으로써 개인화된 스타일 템플릿 생성이 가능해졌습니다. 이를 통해 수채화, 만화, 3D 렌더링, 텍스트가 포함된 밈 등 다양한 스타일 기반 이미지를 더 효과적으로 생성할 수 있게 되었습니다.

Paper page – Style-Friendly SNR Sampler for Style-Driven Generation

Join the discussion on this paper page

미니멀하지만 강력한 디퓨전 모델 범용 제어 프레임워크 OminiControl

OminiControl은 디퓨전 트랜스포머(DiT) 모델에 이미지 조건을 효율적으로 통합하는 새로운 프레임워크입니다. 기존 방법들이 복잡한 추가 인코더를 필요로 했던 것과 달리, OminiControl은 단 0.1%의 추가 파라미터만으로 이미지의 조건을 처리할 수 있으며, subject 기반 생성부터 엣지, 깊이 등과 같은 공간적으로 정렬된 조건까지 광범위한 이미지 조건 태스크를 통합된 방식으로 처리합니다. 싱가포르대학 연구진들은 광범위한 평가를 통해 OminiControl이 주체 기반 (subject-based) 생성 과 공간적으로 정렬된 조건부 생성 모두에서 기존의 UNet 기반 및 DiT 적응 모델들을 능가함을 입증했습니다. 또한 연구자들은 주체 일관성 (subject-consistent) 생성 연구를 발전시키기 위해 20만 개 이상의 일관된 정체성을 가진 이미지로 구성된 다양한 컬렉션인 Subjects200K 학습 데이터셋과 효율적인 데이터 합성 파이프라인을 공개합니다.

GitHub – Yuanshi9815/OminiControl: A minimal and universal controller for FLUX.1.

A minimal and universal controller for FLUX.1. Contribute to Yuanshi9815/OminiControl development by creating an account on GitHub.

마치며

오늘은 주말간 발표되었던 스테이블 디퓨전 의 개량 논문을 소개해드렸습니다.