이번 글에서는 모두의연구소 컨퍼런스 모두콘에서 정형진 님의 세션 [생생형 AI: 의료 영상의 미래]의 내용을 전달 드리겠습니다.

형진 님은 KAIST 예종철 교수팀 소속으로 논문 Diffusion Posterior Sampling for General Noisy Inverse Problems으로 삼성휴먼테크 논문대상 신호처리분야에서 금상을 수상하셨습니다.

특히 이번 강연에서는 의료 영상에서 비어있는 정보를 인버스 문제로 채우고 문제의 영역을 채워나가는 과정을 이야기하며 “어떻게 하면 생성형 AI 모델을 통해 의료 영상이 가진 문제를 해결할 수 있을까?” 하는 고민에 대한 해결 방법을 모두콘 세션을 통해 자세히 들려주셨습니다.

생성형 AI 모델과 인페인팅* 문제의 역할은?

eDiff-I라는 모델로 생성된 영상들은 이미지, 비디오, 3D, 움직이는 3D, 4D까지 양질의 퀄리티로 발전되어왔고, 생성형 모델은 예쁜 영상을 생성해 낼 뿐만 아니라 학문과 공학을 발전시키고 인류에 도움이 되는 역할을 할 수 있어요.

인페인팅* 문제는 영상에 존재하는 뚫린 부분을 채우는 문제인데, 사전 지식(Prior Knowledge)을 이용해 빈 정보를 채우는 것을 해결하며, 인페인팅*은 일반적인 인버스 문제 중의 하나이며 빈 정보인 완성되지 않은 이미지 영역 x를 사전 지식 y를 통해 복원합니다.

인페인팅 : (사람이 눈치채기 어려울 정도로) 이미지의 손상된 부분을 복원하는 과정*

의료 영상 분야에서 인버스 문제와 관련된 과제

의료 영상과 관련된 AI 분야에서 인버스 문제와 관련된 과제들이 논의되고 있죠.

CT나 MRI와 같은 메디컬 이미지에서 정보를 일정하게 얻는 것이 어렵기 때문에 빈 정보가 생기고, 이를 인버스 문제로 채우고 문제의 영역을 채워나가는 과정을 진행해요.

빈 부분을 잘 채우는 것은 사전 정보를 잘 활용하는 것이 중요하다고 해요.

의료 영상 분야 문제 해결에서 강력한 방법으로 생성형 AI 모델이 논의되고 있다고 해요.

모두콘 2023 생성형 AI : 의료영상의 미래 발표자료 중 – Inverse Problem

MRI 스캐너에서 어떻게 인버스 문제가 활용될 수 있을까?

MRI 스캐너는 스페이스라 불리는 프리 도메인에서 정보 값을 얻는데, 이를 통해 인버스 문제에 변환하여 적용하게 되면 이미지를 얻을 수 있어요.

목표는 빠르게 얻어진 언더샘플링(Undersampling)* 측정 정보만 가지고도 충분히 완전한 샘플 영상의 퀄리티를 만들 수 있는 인버스 모델(Inverse Model)을 만드는 것이에요.

이를 위해서 사전 정보가 이용될 것이며, 재건(Construct) 방식에 대한 논의도 오랫동안 진행 중이에요.

기존의 압축 방식은 이전에 손으로 만든 이미지 사전 정보(Hand-Crafted Prior)를 이용하여 사람들이 생각하는 이미지의 특성을 정의하는데, 이 방식은 현재도 많이 사용되고 있어요.

하지만 네모의 부분만 언더샘플링(Undersampling)*하는 경우 이미지의 퀄리티가 저하될 수 있어요.

언더샘플링(Undersampling)** : 불균형한 데이터 셋에서 높은 비율을 차지하던 클래스의 데이터 수를 줄임으로써 데이터 불균형을 해소하는 아이디어*

저품질의 이미지를 매핑하여 보완하고 생성형 AI 모델로 사전 정보를 통해 예측하는 방법

딥러닝이 대두되면서, 지도학습 기술을 이용하여 어떤 안 좋은 품질의 이미지가 신경망에서 좋은 품질의 이미지로 매핑되는 지도학습 방식이 개발되었죠.

반면, 오늘 논의할 방법은 데이터와 사전 정보를 통해 예측하는 방법을 함께 사용하여 모델을 만드는 것이에요.

이를 통해 사전 확률(Prior Probability)과 함께 y가 주어졌을 때 x에 대한 확률인 사후 확률(Posterior Probability)를 계산하여 이미지 컨디션과 품질을 함께 고려하여 생성할 이미지 정보를 예측 합니다.

사전 확률(Prior Probability)은 데이터가 어떤 데이터 분포에 속할 확률을 나타내고, 사후 확률(Posterior Probability)에서는 y가 주어졌을 때 x에 대한 확률을 계산하여 측정에 대한 일관성(Measurement Consistency)과 람다를 고려하여 각각의 경우의 수에 대한 확률을 계산합니다.

모두콘 2023 세션 발표 중인 정형진 연사님

인버스 문제에서의 likelihood와 사전 정보의 역할

인버스 문제에서는 likelihood가 항상 알려져 있어요.

MRI 스캐너를 통해 얻어지는 변환 데이터의 경우, likelihood는 모두 명시적 계산(explicit computation)이 가능한 경우라고 생각할 수 있어요.

반면, 사전 확률은 x가 어떤 값을 가질 확률 분포로, 주어져 있는 것이 아니라 저희가 정의해야 하는 부분이에요.

생성형 AI 모델링은 사전 확률(Prior Probability)를 어떻게 모델링 할 지에 대한 내용이에요.

사전 배포(Prior distribution) 중 하나인 Realistic MRI 이미지는, Wavelet Domain에서 Smooth하다는 특징을 갖고 있으며, 이를 이용하여 데이터 일관성(consistency)을 맞추고 반복적으로 이전의 정보를 업데이트하며 다듬어(refine) 나가요.

이러한 과정을 통해, 인버스 문제의 해결과정에서 사전 정보를 추론할 수 있어요.

MRI 이미지 생성을 위한 기술적 한계와 생생형 AI 모델 소개

MRI 이미지를 생성하기 위해 재건(reconstruction)을 진행하지만, 완벽한 이미지 생성이 어려워요.

딥러닝으로 클린 이미지로 입히는 기술은 나왔지만, 테스트 데이터에서 문제가 발생해요.

이를 극복할 수 있는 방법으로 생성형 AI 모델의 활용이 대두되었어요.

생성형 AI 모델은 데이터 분포를 학습하여, 새로운 샘플을 생성할 수 있어요.

모두콘 2023 생성형 AI : 의료영상의 미래 발표자료 중 – Compressed Sensing

텍스트 문제 해결과 다양한 분야 활용 가능성

이전 생성형 AI 모델에서 사전 정보를 활용한 생성형 AI 모델을 사용해 텍스트 문제를 해결하고 있어요.

추후 다양한 분야에서 활용 가능성이 보이며, 사전 정보를 활용한 샘플링을 다루는 모델 필요성이 커졌어요.

예를 들어, LLM 모델을 이용해 이전 토큰에 따른 넥스트 토큰 예측이 가능해지고 있어요.

하지만 인버스 사전 정보를 함께 학습해줘야 정해진 하나의 답이 아닌 다양한 샘플링이 가능해져요.

MRI 등 다양한 분야에서 사전 정보를 활용한 생성형 AI 모델 활용 가능성이 열렸어요.

사후 확률 정보를 활용한 샘플링하는 이유와 장점

일반인들도 영상을 보며 판단할 수 있는 것처럼, 이미지 분석에서도 사후 확률 정보를 활용한 샘플링을 사용하면 보다 정확한 이미지 분석이 가능해져요.

사후 확률 정보를 활용한 샘플링은 여러 샘플들의 베리어(berior)를 보면서 모델이 확신을 가지는 지점을 알아낼 수 있어, 이미지 분석의 정확도를 높일 수 있어요.

신경망으로 학습하는 데 유용하며, Diffusion 모델을 사용하면 노이즈를 빼나가면서 정확한 모델링을 할 수 있어요.

Diffusion모델은 굉장히 강건하고 성능이 뛰어나므로, 학습된 모델을 확률비(Probability Ratio)로 대체할 수 있어요.

이렇게 이미지 분석에서 정확성이 높은 모델을 만들 수 있어요.

사후 확률 정보를 활용한 샘플링과 MRI 이미지 재건 방법

포스테리어 샘플링을 하려면, 알려진 디퓨전 모델을 이용해 반복 샘플링하면 돼요.

하지만 MRI 이미지 재건을 위해서는 원하는 x 샘플링이 필요해요.

이를 위해 MRI 스캐너의 정보를 활용하여 중간에 넣어줘야 하고, 노이즈를 제거해줘야 해요.

사후 확률 정보를 활용한 샘플링을 위해 Diffusion 모델링을 하고, 알고 있는 사전 정보를 입력해 인퍼런스 타임에서 활용합니다.

모두콘 2023 생성형 AI : 의료영상의 미래 발표자료 중 – Diffusion models for MRI Reconstruction

MRI 이미지 재건을 위한 생성형 AI 모델의 장점은 무엇인가요?

MRI 정보는 스캐너나 옵션에 따라 다양하기 때문에, 생성형 AI 모델에서는 x 정보만을 이용하여 사전 확률 정보를 학습하고, 인퍼런스 타임에서 y 정보를 추가해 높은 퀄리티의 샘플링을 할 수 있어요.

이 모델을 이용해 얻은 MRI 이미지 재건 결과는 고품질의 세부정보(High Frequency Detail)을 잘 보존하므로, 데이터를 최적화한 다운스트림 테스크(Downstream Task)에서도 높은 퀄리티를 보여줄 수 있어요.

likelihood 부분이 인퍼런스에서 들어가기 때문에, 기존 지도학습 방식보다 높은 정확도를 보일 뿐만 아니라, 어떤 의료 이미지 AI 분야에서도 이용할 수 있어 범용성이 높아요.

생성형 AI 모델이 의료 분야 영상 문제 해결에 어떠한 역할을 할 수 있을까?

인버스 문제로 대두되는 의료 분야 영상 문제를 생성형 AI 모델을 이용해 해결할 수 있음을 논의했어요.

이를 위해 사전 예측 정보를 잘 정의하는 것이 중요하며, 이후 알고 있는 likelihood 정보를 이용해 사후 예측 정보를 샘플링을 할 수 있다는 것을 알아냈죠.

기존의 Compressed Sensing 기반 방식에서 생성형 AI 모델의 방식으로 트렌드의 흐름이 변화하고 있으며, 이러한 모델이 기존 방식을 대체할 것으로 예측됩니다.

마무리

이처럼 AI를 통해 여러 영역에서의 문제를 해결해나가는 움직임이 지속되고 있습니다.
생성형 AI 모델을 통해 의료 분야 영상 문제 해결에 관심이 많고 정보와 인사이트를 얻어 보고 싶은 독자분들이라면 꼭 모두콘 영상도 챙겨보시길 추천 드립니다.

생성형 AI : 의료 영상의 미래 – 정형진(KAIST, Google Research) | 모두콘2023

No Description

Share Value, Grow Together! 함께 지식을 공유하고 성장하는 연구 문화를 전파해요 | 모두의연구소

20초만에 구독하고, 매주 SW/AI 소식 받아보세요 | ✉️ 모두레터 구독하기