백엔드 개발 능력에 AI 활용 능력까지 더하면 어떻게 되는지 궁금해?!
LAB소개
(논문 초록)
최근 전세계적으로 대형언어모델 (Large Language model, LLM)이 비약적 발전을 이룸과 동시에 LLM을 활용한 연구 및 비지니스모델들이 큰 각광을 받고 있다. 본 논문은 LLM과 시각 모델 (Vision Model)을 결합시켜 이미지와 텍스트를 동시에 처리할 수 있고 챗봇 기능을 구현할 수 있는 Foundation model중에 하나인 FROMAGe를 활용하여 다음 시즌 유행할 의류를 예측하고 추천해주는 챗봇 시스템을 제안한다. 이를 위해 패션쇼 이미지 데이터를 수집하고 LLaMA-Adapter v2 multimodal LLM모델을 활용하여 패션 데이터의 캡션을 생성하였다. 이렇게 구축된 패션 데이터 (이미지-캡션)을 이용하여 FROMAGe모델을 파인튜닝하였다. 본 연구를 통해 소비자들이 시즌 정보 및 특정 브랜드의 특징을 가지고 있는 시장의 기출시된 제품들에 보다 빠르게 접근할 수 있도록 하며, 챗봇 형식의 AI 의류 추천 방식으로 소비자의 편의성 향상을 도모했다.
활동계획
현재 본 프로젝트로 한국정보과학회(KSC)에 논문을 제출하였으며,
11/17(금) 심사 결과 발표 이후 12/20(수)~22(금)에 논문 발표 일정이 있습니다.
연구목표
#논문_작성   
참여조건
온라인 4기 모달연 팀
랩짱소개
김설아

김설아

자기 소개

소속

E-mail

jena1218@naver.com

MODALYEON LAB
모임시작
2023년 10월 18일
모임일시
 월요일 02:00 ~ 4:00
모임장소
온라인
모집기간
2023년 11월 02일 ~ 10월 17일
모집인원
4명
모집방법
선발
모임비용
무료
백엔드 개발 능력에 AI 활용 능력까지 더하면 어떻게 되는지 궁금해?!
MODALYEON LAB
모임시작
2023년 10월 18일
모임일시
 월요일 02:00 ~ 4:00
모임장소
온라인
모집기간
2023년 11월 02일 ~ 10월 17일
모집인원
4명
모집방법
선발
모임비용
무료
LAB 소개
(논문 초록)
최근 전세계적으로 대형언어모델 (Large Language model, LLM)이 비약적 발전을 이룸과 동시에 LLM을 활용한 연구 및 비지니스모델들이 큰 각광을 받고 있다. 본 논문은 LLM과 시각 모델 (Vision Model)을 결합시켜 이미지와 텍스트를 동시에 처리할 수 있고 챗봇 기능을 구현할 수 있는 Foundation model중에 하나인 FROMAGe를 활용하여 다음 시즌 유행할 의류를 예측하고 추천해주는 챗봇 시스템을 제안한다. 이를 위해 패션쇼 이미지 데이터를 수집하고 LLaMA-Adapter v2 multimodal LLM모델을 활용하여 패션 데이터의 캡션을 생성하였다. 이렇게 구축된 패션 데이터 (이미지-캡션)을 이용하여 FROMAGe모델을 파인튜닝하였다. 본 연구를 통해 소비자들이 시즌 정보 및 특정 브랜드의 특징을 가지고 있는 시장의 기출시된 제품들에 보다 빠르게 접근할 수 있도록 하며, 챗봇 형식의 AI 의류 추천 방식으로 소비자의 편의성 향상을 도모했다.
활동계획
현재 본 프로젝트로 한국정보과학회(KSC)에 논문을 제출하였으며,
11/17(금) 심사 결과 발표 이후 12/20(수)~22(금)에 논문 발표 일정이 있습니다.
연구목표
#논문_작성   
참여조건
온라인 4기 모달연 팀
랩짱소개
김설아

김설아

자기 소개

소속

E-mail

jena1218@naver.com