DL에서 모델이 한번의 pre-training 또는 training 후에 모델을 fix하는 것이 아닌, 계속해서 새로운 내용을 학습할 수 있는 Continual Learning에 대해 연구해보고자 합니다. Vision과 NLP 두 가지 분야에 대해 CL 성능을 높이는 방법에 대해 연구하여 Top-tier conference에 paper를 submission하는 것을 목표로 LAB을 열고자 합니다. Continual Learning/Life-Long Learning에서 가장 큰 문제점은 새로운 지식을 학습하는 과정에서 이전에 배운 지식을 잊어버리는 것입니다. 이를 Catastrophic forgetting이라 하며, 해당 문제를 과거의 데이터가 없는 관점, 과거의 데이터가 일부 존재하는 관점 등 다양한 관점에서 문제를 해결하고자 하고 있습니다. 이에 저희 LAB에서는 CL에서 Catastrophic forgetting을 어떻게 해결할 것인지 연구하고자 합니다. 특히 최근 Foundation Model의 중요성이 커지는 만큼 Foundation model을 다시 처음부터 training 하지 않고 어떻게 효율적으로 새로운 지식을 학습시키며 이전 지식은 잊지 않도록 CL을 할 것인지에 대해서 연구하고자 합니다. 저희 LAB의 최종 목표는 top-tier conference에 paper를 submission 하는 것입니다. NLP 분야에서의 CL 팀과, Vision 분야에서의 CL 팀 두 팀으로 구성되어 각각 paper를 작성하고자 합니다. + 학교 서버 GPU와 개인용 서버 GPU를 보유하고 있습니다.(공유 불가)

1st month - related work paper review(주 2편) 2nd month - related work paper review(주 1~2편) - baseline 선정 및 motivation, idea 토의 3 ~ 4th month - 필요 시 paper review 진행 - idea 구체화 및 구현, 실험 진행 5 ~ 6th month - ablation study, 기타 추가 실험 진행 - paper writing 약 6개월 기간의 연구를 고려하고 있습니다. 팀 당 core member 4인으로만 구성하여 진행할 것입니다. NLP와 Vision이 구분되는 분야지만, 합동 미팅도 진행하여 서로 아이디어를 얻고 발전할 수 있는 방향으로 연구를 진행할 것입니다. 상세 운영 내용 Paper Review - notion에 랩에서 함께 보면 좋을 논문 공유 -> 발표자 자율 선정 -> Paper Review 일정 선정 -> Paper Review - 초창기에는 전반적인 내용에 관한 review 진행 -> baseline 선정 이후 관련 내용을 우선하여 review 진행 baseline & idea - Paper Review가 진행 됨과 동시에 매 paper를 criticize하고, develop할 수 있는 방법 등을 정리 - baseline 선정 이후 idea에 대한 빠른 검증 진행 및 idea 구체화, 수정 단계 진행 - idea 구체화 완료 시 논문 작성을 위한 실험 진행(related work, datasets, ablation study etc.) CV Team - Continual Semantic Segmentation(CSS) 환경에서 catastrophic forgetting 문제를 해결 - 특히 CSS 환경에서 발생하는 background shift 문제를 해결 - Mitigating Background Shift in Class-Incremental Semantic Segmentation 논문을 baseline으로 진행 ※ 각 연구원의 기여도에 따라 저자 우선순위 결정(equal contribution일 경우 공동 1저자 가능)

1. 매주 월 20:00 ~ 22:00 or 23:00 online 미팅 참여가 가능하신 분(첫 미팅 전 전체 일정 조율 가능.) 2. 중도 이탈 없이 top-tier를 목표로 intense한 연구를 함께 하실 분 3. 지원하고자 하는 팀(NLP/Vision)에 대한 이해가 있으신 분 4. 실험을 진행할 수 있는 GPU를 가지고 계신 분(우대) 5. 연구 경험이 있으신 분(우대)

간단한 이력과 자기소개를 부탁드립니다. (Vision 팀 추가 모집 진행)

LAB 지원 동기와 LAB에서의 목표에 대해 말씀해주세요.

팀으로 구성되어 목표를 달성한 경험에 대해 말씀해주세요.(협동, 끈기)

Segmentation 분야에서의 연구 역량을 말씀해주세요.

Mitigating Background Shift in Class-Incremental Semantic Segmentation 논문을 읽고 review, criticize, 아이디어 제시를 부탁 드립니다.

월요일 20:00 - 22:00 online 미팅 참여가 가능한가요.

online 커피챗을 진행하고자 합니다. 기타 일정 조정 및 문의 사항 등을 위해 오픈 채팅방 가입을 부탁드립니다. https://open.kakao.com/o/sw7IkZ1g