진짜 [롱런하는 개발자]의 비결이 궁금해?🤫
LAB소개
DL에서 모델이 한번의 pre-training 또는 training 후에 모델을 fix하는 것이 아닌, 계속해서 새로운 내용을 학습할 수 있는 Continual Learning에 대해 연구해보고자 합니다.
Vision과 NLP 두 가지 분야에 대해 CL 성능을 높이는 방법에 대해 연구하여 Top-tier conference에 paper를 submission하는 것을 목표로 LAB을 열고자 합니다.

Continual Learning/Life-Long Learning에서 가장 큰 문제점은 새로운 지식을 학습하는 과정에서 이전에 배운 지식을 잊어버리는 것입니다.
이를 Catastrophic forgetting이라 하며, 해당 문제를 과거의 데이터가 없는 관점, 과거의 데이터가 일부 존재하는 관점 등 다양한 관점에서 문제를 해결하고자 하고 있습니다.

이에 저희 LAB에서는 CL에서 Catastrophic forgetting을 어떻게 해결할 것인지 연구하고자 합니다.
특히 최근 Foundation Model의 중요성이 커지는 만큼 Foundation model을 다시 처음부터 training 하지 않고 어떻게 효율적으로 새로운 지식을 학습시키며 이전 지식은 잊지 않도록 CL을 할 것인지에 대해서 연구하고자 합니다.

저희 LAB의 최종 목표는 top-tier conference에 paper를 submission 하는 것입니다.
NLP 분야에서의 CL 팀과, Vision 분야에서의 CL 팀 두 팀으로 구성되어 각각 paper를 작성하고자 합니다.

+ 학교 서버 GPU와 개인용 서버 GPU를 보유하고 있습니다.(공유 불가)
활동계획
1st month
- related work paper review(주 2편)

2nd month
- related work paper review(주 1~2편)
- baseline 선정 및 motivation, idea 토의

3 ~ 4th month
- 필요 시 paper review 진행
- idea 구체화 및 구현, 실험 진행

5 ~ 6th month
- ablation study, 기타 추가 실험 진행
- paper writing

약 6개월 기간의 연구를 고려하고 있습니다.
팀 당 core member 4인으로만 구성하여 진행할 것입니다.
NLP와 Vision이 구분되는 분야지만, 합동 미팅도 진행하여 서로 아이디어를 얻고 발전할 수 있는 방향으로 연구를 진행할 것입니다.

상세 운영 내용

Paper Review
- notion에 랩에서 함께 보면 좋을 논문 공유 -> 발표자 자율 선정 -> Paper Review 일정 선정 -> Paper Review
- 초창기에는 전반적인 내용에 관한 review 진행 -> baseline 선정 이후 관련 내용을 우선하여 review 진행

baseline & idea
- Paper Review가 진행 됨과 동시에 매 paper를 criticize하고, develop할 수 있는 방법 등을 정리
- baseline 선정 이후 idea에 대한 빠른 검증 진행 및 idea 구체화, 수정 단계 진행
- idea 구체화 완료 시 논문 작성을 위한 실험 진행(related work, datasets, ablation study etc.)

※ 각 연구원의 기여도에 따라 저자 우선순위 결정(equal contribution일 경우 공동 1저자 가능)
연구목표
#논문_작성   
참여조건
1. 매주 월 20:00 ~ 22:00 or 23:00 online 미팅 참여가 가능하신 분(첫 미팅 전 전체 일정 조율 가능.)
2. 중도 이탈 없이 top-tier를 목표로 intense한 연구를 함께 하실 분
3. 지원하고자 하는 팀(NLP/Vision)에 대한 이해가 있으신 분
4. 실험을 진행할 수 있는 GPU를 가지고 계신 분(우대)
5. 연구 경험이 있으신 분(우대)
랩짱소개
이대엽

이대엽

자기 소개

포항공과대학교 인공지능대학원에서 석사과정을 하고 있는 이대엽입니다. 현재 첫 학기를 재학 중이며 NLP에 관심을 가지고 있어 해당 분야로 연구를 진행하고자 합니다. 스타트업과 함께 협동 로봇과 딥러닝을 활용해서 대상 물체를 운반하는 프로젝트를 진행한 경험이 있습니다. (Synthetic Data 생성, Segmentation 모델 학습, 좌표 계산을 전담했습니다.) 또 시각장애인의 보행을 보조하는 프로젝트를 진행한 경험이 있습니다. (Object Detection을 통한 장애물 탐지, Segmentation을 통한 도로 인식을 전담했습니다.) KIST에서 6개월간 현장 실습을 진행하며 모델이 bias를 학습하는 문제를 해결하는 Debiasing 연구와, pretrained-Network가 어떤 data distribution을 학습했는지 추적하는 Inversion 연구에 참여했습니다. (Debiasing: 학습한 이미지에 1은 모두 빨간색(bias) -> 모델이 빨간색 이미지는 모두 1로 구분) (Inversion: data-free KD, data-free Continual Learning, data-free Pruning과 같은 분야에 활용 가능)

소속

포항공과대학교 인공지능대학원

E-mail

daeyeoplee@postech.ac.kr

Continual Learning LAB
모임시작
2024년 07월 22일
모임일시
매주 월요일 20:00 ~ 22:00
모임장소
온라인
모집기간
2024년 06월 13일 ~ 07월 16일
모집인원
8명
모집방법
선발
모임비용
무료
진짜 [롱런하는 개발자]의 비결이 궁금해?🤫
Continual Learning LAB
모임시작
2024년 07월 22일
모임일시
매주 월요일 20:00 ~ 22:00
모임장소
온라인
모집기간
2024년 06월 13일 ~ 07월 16일
모집인원
8명
모집방법
선발
모임비용
무료
LAB 소개
DL에서 모델이 한번의 pre-training 또는 training 후에 모델을 fix하는 것이 아닌, 계속해서 새로운 내용을 학습할 수 있는 Continual Learning에 대해 연구해보고자 합니다.
Vision과 NLP 두 가지 분야에 대해 CL 성능을 높이는 방법에 대해 연구하여 Top-tier conference에 paper를 submission하는 것을 목표로 LAB을 열고자 합니다.

Continual Learning/Life-Long Learning에서 가장 큰 문제점은 새로운 지식을 학습하는 과정에서 이전에 배운 지식을 잊어버리는 것입니다.
이를 Catastrophic forgetting이라 하며, 해당 문제를 과거의 데이터가 없는 관점, 과거의 데이터가 일부 존재하는 관점 등 다양한 관점에서 문제를 해결하고자 하고 있습니다.

이에 저희 LAB에서는 CL에서 Catastrophic forgetting을 어떻게 해결할 것인지 연구하고자 합니다.
특히 최근 Foundation Model의 중요성이 커지는 만큼 Foundation model을 다시 처음부터 training 하지 않고 어떻게 효율적으로 새로운 지식을 학습시키며 이전 지식은 잊지 않도록 CL을 할 것인지에 대해서 연구하고자 합니다.

저희 LAB의 최종 목표는 top-tier conference에 paper를 submission 하는 것입니다.
NLP 분야에서의 CL 팀과, Vision 분야에서의 CL 팀 두 팀으로 구성되어 각각 paper를 작성하고자 합니다.

+ 학교 서버 GPU와 개인용 서버 GPU를 보유하고 있습니다.(공유 불가)
활동계획
1st month
- related work paper review(주 2편)

2nd month
- related work paper review(주 1~2편)
- baseline 선정 및 motivation, idea 토의

3 ~ 4th month
- 필요 시 paper review 진행
- idea 구체화 및 구현, 실험 진행

5 ~ 6th month
- ablation study, 기타 추가 실험 진행
- paper writing

약 6개월 기간의 연구를 고려하고 있습니다.
팀 당 core member 4인으로만 구성하여 진행할 것입니다.
NLP와 Vision이 구분되는 분야지만, 합동 미팅도 진행하여 서로 아이디어를 얻고 발전할 수 있는 방향으로 연구를 진행할 것입니다.

상세 운영 내용

Paper Review
- notion에 랩에서 함께 보면 좋을 논문 공유 -> 발표자 자율 선정 -> Paper Review 일정 선정 -> Paper Review
- 초창기에는 전반적인 내용에 관한 review 진행 -> baseline 선정 이후 관련 내용을 우선하여 review 진행

baseline & idea
- Paper Review가 진행 됨과 동시에 매 paper를 criticize하고, develop할 수 있는 방법 등을 정리
- baseline 선정 이후 idea에 대한 빠른 검증 진행 및 idea 구체화, 수정 단계 진행
- idea 구체화 완료 시 논문 작성을 위한 실험 진행(related work, datasets, ablation study etc.)

※ 각 연구원의 기여도에 따라 저자 우선순위 결정(equal contribution일 경우 공동 1저자 가능)
연구목표
#논문_작성   
참여조건
1. 매주 월 20:00 ~ 22:00 or 23:00 online 미팅 참여가 가능하신 분(첫 미팅 전 전체 일정 조율 가능.)
2. 중도 이탈 없이 top-tier를 목표로 intense한 연구를 함께 하실 분
3. 지원하고자 하는 팀(NLP/Vision)에 대한 이해가 있으신 분
4. 실험을 진행할 수 있는 GPU를 가지고 계신 분(우대)
5. 연구 경험이 있으신 분(우대)
랩짱소개
이대엽

이대엽

자기 소개

포항공과대학교 인공지능대학원에서 석사과정을 하고 있는 이대엽입니다. 현재 첫 학기를 재학 중이며 NLP에 관심을 가지고 있어 해당 분야로 연구를 진행하고자 합니다. 스타트업과 함께 협동 로봇과 딥러닝을 활용해서 대상 물체를 운반하는 프로젝트를 진행한 경험이 있습니다. (Synthetic Data 생성, Segmentation 모델 학습, 좌표 계산을 전담했습니다.) 또 시각장애인의 보행을 보조하는 프로젝트를 진행한 경험이 있습니다. (Object Detection을 통한 장애물 탐지, Segmentation을 통한 도로 인식을 전담했습니다.) KIST에서 6개월간 현장 실습을 진행하며 모델이 bias를 학습하는 문제를 해결하는 Debiasing 연구와, pretrained-Network가 어떤 data distribution을 학습했는지 추적하는 Inversion 연구에 참여했습니다. (Debiasing: 학습한 이미지에 1은 모두 빨간색(bias) -> 모델이 빨간색 이미지는 모두 1로 구분) (Inversion: data-free KD, data-free Continual Learning, data-free Pruning과 같은 분야에 활용 가능)

소속

포항공과대학교 인공지능대학원

E-mail

daeyeoplee@postech.ac.kr