오스트리아 빈에서 현지 시각 5월 7일부터 11일까지 ICLR 2024가 열리고 있습니다.
ICLR이 개최되기 앞서 ICLR 우수 논문 위원회가 이번 ICLR 2024 우수논문을 발표했습니다.
ICLR 2024 우수 논문의 경우 44개의 논문을 우선 선정하고 우수 논문 위원들이 44개의 논문을 2명이서 나눠서 보게 설정했으며 각 위원마다 총 12개의 논문을 검토합니다.
여기에서 가장 좋았던 논문 3개를 뽑아 20개 정도를 추립니다.
마지막으로 위원회가 함께 논의를 진행해 우수 논문과 논문 우수상을 나눠서 결정합니다.
이번 ICLR 2024에는 우수 논문 5편과 논문 우수상 11편이 선정되었습니다.
이번 블로그에서는 우수 논문 5편에 대해서 가볍게 살펴보도록 하겠습니다.

ICLR 2024 첫번째 우수 논문 : Generalization in diffusion models arises from geometry-adaptive harmonic representations

Generalization in diffusion models arises from geometry-adaptive harmonic representations

첫번째 논문은 디퓨전 모델로 이미지 생성을 진행시킬때의 DNN 역할에 대한 의문으로부터 시작됩니다.
논문 저자에 따르면 최근 훈련을 진행했을때 나오는 결과들이 디퓨전 모델이 데이터의 연속적인 밀도를 학습하는지 의문을 갖고 있었습니다.
실험 결과 서로 다른 사진들이 있고 이를 디퓨전 모델에서 노이즈를 제거할 때 모두 비슷한 패턴을 보인다는 것을 발견했습니다.
리뷰어들은 해당 논문에 대해 좋은 인사이트로 시작한 것에 대해 높이 평가했습니다.
또한 inductive bias에 대한 연구에 대해서도 높은 평가를 받았습니다.

ICLR 2024 두번째 우수 논문 : Learning Interactive Real-World Simulators

ICLR 2024 - Learning Interactive Real-World Simulators

두번째 우수 논문은 UniSim이라는 실세계를 모사하는 AI 모델에 대한 논문입니다.
UniSim은 게임이나 영화에서 제어가능한 콘텐츠 생성부터 시뮬레이션에서 훈련된 에이전트의 행동에 대응해서 실세계를 모사합니다.
데모영상에서 볼 수 있듯 사진 하나에 프롬프트를 작성하면 실제 그 행동까지 생성하는 방법으로 결과물이 나와 합성데이터를 만드는데 유용할 수 있음을 보여줍니다.
리뷰어들은 이 방식은 한 분야에서만 활용되는 것이 아닌 다양한 분야에서 활용가능하다는 점에서 우수하다고 평가했습니다.
또한 대규모 학습이 이루어졌다는 것에 점수를 높게 주었습니다.

ICLR 2024 세번째 우수 논문 : Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

ICLR 2024 - Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

세번째 우수 논문은 트랜스포머의 약점인 장거리의존성 문제를 해결해서 S4 수준까지 성능을 끌어올린 내용입니다.
저자들이 접근한 방식은 랜덤 초기화가 S4와 트랜스포머간 차이를 과대평가하게 만들었으며 표준 노이즈를 제거하는 목적으로만 사용한다면 트랜스포머도 S4만큼의 장거리의존성을 가질 수 있다고 밝혔습니다.
또한 S4도 마찬가지로 같은 방식으로 진행한다면 최고 성능 또한 낸다고 합니다.
리뷰어들은 단순성과 체계적인 실험이 놀라웠으며 사전 훈련 – 파인튜닝 방식으로도 극적인 성능향상을 할 수 있다는 면에서 좋은 평가를 주었습니다.

ICLR2024 네번째 우수 논문 : Protein Discovery with Discrete Walk-Jump Sampling

Protein Discovery with Discrete Walk-Jump Sampling

4번째 우수 논문은 단백질 생성과 관련된 논문입니다.
단백질 서열 데이터 경우 이산 데이터로 이루어져 있는데 해당 논문에서는 데이터의 분포를 부드럽게 만드는 에너지 함수를 학습시킵니다.
이 함수를 거친 데이터 분포는 Langevin MCMC 기법으로 샘플을 뽑아내고 한번의 노이즈 과정을 거쳐 실제 데이터분포로 되돌리는 방식을 택합니다.
리뷰어들은 단백질 예측을 진행했다는 점 그리고 단백질 예측을 위해서 샘플링과 노이즈 제거방식을 취한 것이 독특하다고 생각했기에 해당 논문이 우수 논문으로 선정되었다고 볼 수 있습니다.

ICLR2024 다섯번째 우수 논문 : Vision Transformers Need Registers

Vision Transformers Need Registers

마지막 우수 논문은 ViT에 대한 논문입니다.
자연어처리에서 많이 사용하는 트랜스포머를 컴퓨터 비전으로 변경할 경우 입력 이미지의 경우 조각단위로 나뉘어집니다.
이때 배경처럼 이미지에 대한 정보가 별로 없는 조각을 아티팩트라고 불렸고 아티팩트는 ViT 성능을 떨어뜨립니다.
이 문제를 해결하기 위해서 연구자들은 추가 토큰을 제공해서 아티팩트 대신 토큰이 학습하도록 해서 성능을 유지시켰습니다.
리뷰어는 ViT와 DINOv2에 대한 성능저하를 정확하게 짚어냈는데 아주 간단한 방법으로 해결한 점을 높게 샀습니다.

결론

이밖에도 Honorable mention에도 다양한 논문들이 수록되어 있습니다.
물론 Outstanding Award에서 상을 받지 않았다고 해서 ICLR 2024에 게재된 수많은 논문이 의미없는것이 아닙니다.
AI를 연구하고 공유의 정신으로 논문을 게재하고 설명하는 것만큼 중요한 것은 없으며 지속적으로 연구를 하고 있는 여러분이 제일 중요한 자산입니다.

이번에 모두의연구소 아이펠에서도 ICLR WorkShop 논문 게재했으며 게재한 학생들과 인터뷰를 진행했으니 궁금하신 분들은 클릭해주세요!