(논문 초록) 최근 전세계적으로 대형언어모델 (Large Language model, LLM)이 비약적 발전을 이룸과 동시에 LLM을 활용한 연구 및 비지니스모델들이 큰 각광을 받고 있다. 본 논문은 LLM과 시각 모델 (Vision Model)을 결합시켜 이미지와 텍스트를 동시에 처리할 수 있고 챗봇 기능을 구현할 수 있는 Foundation model중에 하나인 FROMAGe를 활용하여 다음 시즌 유행할 의류를 예측하고 추천해주는 챗봇 시스템을 제안한다. 이를 위해 패션쇼 이미지 데이터를 수집하고 LLaMA-Adapter v2 multimodal LLM모델을 활용하여 패션 데이터의 캡션을 생성하였다. 이렇게 구축된 패션 데이터 (이미지-캡션)을 이용하여 FROMAGe모델을 파인튜닝하였다. 본 연구를 통해 소비자들이 시즌 정보 및 특정 브랜드의 특징을 가지고 있는 시장의 기출시된 제품들에 보다 빠르게 접근할 수 있도록 하며, 챗봇 형식의 AI 의류 추천 방식으로 소비자의 편의성 향상을 도모했다.

현재 본 프로젝트로 한국정보과학회(KSC)에 논문을 제출하였으며, 11/17(금) 심사 결과 발표 이후 12/20(수)~22(금)에 논문 발표 일정이 있습니다.

온라인 4기 모달연 팀

없음