현재 DL에서 모델을 학습할 때 모델에게 전달하는 정보는 label이 맞다, 틀리다의 CE loss와 같은 저차원 적인 정보를 통해 학습하고 있습니다. 이에 훨씬 고차원 정보가 담긴 Natural Language 형태의 Feedback을 모델에게 전달하여 학습을 시킬 수는 없을까?라는 의문에 대해 함께 연구해보고자 합니다. 모델에게 "그건 사과가 아니라 바나나야"라는 정보 보다 "빨갛고 동그란 사과와 달리 노랗고 길쭉한 모양을 했기에 바나나야"라는 더 rich한 정보를 전달하거나, Human alignment 관점에서 "좀 더 부드럽게 말해줘", "반말로 말해줘"와 같은 Natural Language Feedback을 모델로 전달하는 방법에 대한 연구를 하고자 합니다. 더 나아가서는 소통하며 training이 가능한 방식의 모델도 한번 시도해 보고자 합니다. 모델의 output에 대한 reasoning을 출력하면, 해당 reasoning에 대한 잘못된 점을 지적함을 통해 학습이 이루어질 수 있는 형태를 생각하고 있습니다. ex) output -> 사과, reasoning -> 둥글기에 사과, feed back -> 둥글지만 빨간색이 아니고 초록색에 줄무늬가 있어 수박 => 학습 저희 LAB의 최종 목표는 top-tier conference에 paper를 submission 하는 것입니다. NLP 분야와 Vision 분야에 대한 NL Feedback 모두를 고려하고 연구를 진행할 것입니다. + 학교 서버 GPU와 개인용 서버 GPU를 보유하고 있습니다.(공유 불가)

1 st month - related work paper review(주 2편) 2 ~ 3rd month - related work paper review(주 1~2편) - baseline 선정 및 motivation, idea 토의 4 ~ 5th month - 필요시 paper review 진행 - idea 구체화 및 구현 실험 진행 6th month - ablation study, 기타 추가 실험 진행 - paper writing 기존의 related work이나 previous work이 많지 않기에 첫 2step 일정이 조정될 수 있습니다. 상세 운영 내용 Paper Review - notion에 랩에서 함께 보면 좋을 논문 공유 -> 발표자 자율 선정 -> Paper Review 일정 선정 -> Paper Review - 초창기에는 전반적인 내용에 관한 review 진행 -> baseline 선정 이후 관련 내용을 우선하여 review 진행 baseline & idea - Paper Review가 진행 됨과 동시에 매 paper를 criticize하고, develop할 수 있는 방법 등을 정리 - baseline 선정 이후 idea에 대한 빠른 검증 진행 및 idea 구체화, 수정 단계 진행 - idea 구체화 완료 시 논문 작성을 위한 실험 진행(related work, datasets, ablation study etc.) ※ 각 연구원의 기여도에 따라 저자 우선순위 결정(equal contribution일 경우 공동 1저자 가능)

1. 매주 목 20:00 ~ 22:00 or 23:00 online 미팅 참여가 가능하신 분(첫 미팅 전 전체 일정 조율 가능.) 2. 중도 이탈 없이 top-tier를 목표로 intense한 연구를 함께 하실 분 3. NLP와 Vision 분야에 대한 이해가 있으신 분 4. 실험을 진행할 수 있는 GPU를 가지고 계신 분(우대) 5. 연구 경험이 있으신 분(우대)

간단한 이력과 자기소개를 부탁드립니다.

LAB 지원 동기와 LAB에서의 목표에 대해 말씀해주세요.

팀으로 구성되어 목표를 달성한 경험에 대해 말씀해주세요.(협동, 끈기)

NLP / Vision 분야에 어느 정도 역량을 갖추고 계신가요.(전반적인 DL 지식 & 연구 경험 포함)

NLP / Vision 분야의 논문을 1편 읽고 review, criticize, 아이디어 제시를 부탁 드립니다.(논문 선택 자유 2023년도 이후)

고정적으로 참여가 가능한 일정을 모두 기재 부탁드립니다.(첫 미팅 일정 조정을 위함)

online 커피챗을 진행하고자 합니다. 기타 일정 조정 및 문의 사항 등을 위해 오픈 채팅방 가입을 부탁드립니다. 링크: https://open.kakao.com/o/sgD4ikug