요즘 핫한 ChatGPT를 구성 원리를 설명하는 논문들을 10주에 걸쳐 세미나 형식으로 뜯어봅니다. 막연했던 Language Model의 최신 기술 트렌드에 대해 체계적으로 정리해 보면서, 랩 종료 시점에는 자신만의 연구주제나 챗봇 구현 아이디어를 디자인해 보는 것을 목표로 합니다.

[활동계획] 정기모임일인 매주 수요일 7:30에 모여서 1시간의 논문세미나, 이어 1시간 가량 디스커션과 코드리뷰 등을 진행합니다. 논문세미나 주제는 대략 다음과 같습니다. 하지만 랩 진행 과정에서 주제나 스케줄은 상황에 맞게 조정될 수 있습니다. - ChatGPT: (Intro)오늘날의 LM은 어디까지 가능하고 어떤 한계를 지니고 있나? - GPT3: Large Language Model은 이전과 근본적으로 어떤 점이 달라졌는가? - InstructGPT: Human Feedback을 통한 강화학습은 어떻게 LM을 정교하게 만들었는가? - Task-oriented Dialogue system: 믿고 일을 맡길 수 있는 챗봇을 위해 - Small language models are also few-shot learners : 어쩌면 우리도 뭔가 해볼수 있을지도? - RETRO : 검색 기반의 챗봇이 유용하지 않을까? - In-Context Learning: LM의 맥락 대응 능력을 설명할 수 있을까? - Emergent Abilities of LLM : LLM에게는 뭔가 특별한 것이 있는것 같은데? - Double Descent : LM의 창발효과를 설명할 수 있을 키워드 - Negation Problem : 현재의 LM이 가진 한계점에 대한 고찰 [운영방식] 세미나 발제자 : 랩 참가자들은 돌아가며 1회씩 세미나를 주관합니다. 간단한 발표자료 준비와 세미나 진행을 담당합니다. 세미나 참여자 : 세미나 발제 차례가 아닐때, 랩 참가자들은 당일 세미나 주제에 대한 질문리스트를 미리 준비해 옵니다.

랩에서 진행되는 세미나에 적극적으로 참여하기 위해서는 다음 조건을 갖추신 분이면 좋겠습니다. - 영어로 작성된 최신 자연어처리 분야 논문을 읽고 해당 내용을 다른 사람들과 공유할 수 있는 분 - Transformer 모델구조, GPT/BERT 등 Pretrained Language Model이 만들어진 원리를 이해하고 계신 분 Language Model을 활용한 프로젝트 경험이 있으시면 더욱 좋겠지만, 없으셔도 세미나 참여에는 지장이 없다고 생각합니다.

자연어처리 관련 학습 이력이나 연구활동 이력을 간단히 공유해 주세요.