지난 2월~5월에 진행된 FunLM Lab 시즌 1에는 ChatGPT를 비롯한 Large Language Model의 구성원리에 대해 깊이있게 알아보았습니다. 알차고 유익했던 지난 시즌의 세미나 내용을 개략적으로 확인하고 싶으시다면 이 [[모두연 블로그]](https://modulabs.co.kr/blog/language_model_1/)를 참고해 주세요. 이번 시즌 2에서는 Language Model을 활용하여 세상과 상호작용하는 Agent를 구성하는 최신 연구 트렌드에 대해 2달에 걸쳐 체계적으로 정리해 보고, 현실에 AI를 적용하는 방법을 함께 고민해 보고자 합니다. ChatGPT 등 Large Language Model의 In-context Learning 능력을 활용한 프롬프트 엔지니어링 기반의 Agent 제작 방법론이 대세를 이루고 있습니다. 최근 쏟아져나오고 있는 다양한 기법들에서 많은 좋은 아이디어를 얻을 수 있을 것입니다. 하지만 FunLM Lab에서는 프롬프트 엔지니어링만으로는 극복할 수 없는 현재 LLM 활용 방식의 한계를 뛰어넘기 위해 오히려 작은 Language Model을 활용하는 발상의 전환에 초점을 맞추고 있습니다.

[활동계획] 정기모임일인 매주 수요일 7:30에 모여서 1시간의 논문세미나, 이어 1시간 가량 디스커션과 코드리뷰 등을 진행합니다. 논문세미나 발표자료 및 토론내역은 모두의연구소의 기술콘텐츠로 활용될 수 있도록 랩의 연구산출물로 제출됩니다. 논문세미나 주제는 대략 다음과 같습니다. 하지만 랩 진행 과정에서 주제나 스케줄은 상황에 맞게 조정될 수 있습니다. - RLHF: (Intro)LM이 사람의 의도에 맞게 대화하도록 훈련시키는 원리는 무엇일까? - AutoGPT: 스스로 계획을 세워 과업을 수행하는 Autonomous Agent의 개념은? - Prompting Practices: Autonomous Agent의 성능을 극대화시킬 수 있는 프롬프팅 기법은? - Reflexion : 피드백과 회고를 통해 스스로 성장하는 Agent - Voyager : 마인크래프트를 정복한 언어모델 Agent - Let’s verify step-by-step: 결과보다 과정에 주목하는 학습방법으로 수학을 정복한 Agent - Toolformer : 현실의 문제를 해결하기 위해 도구(API)를 활용하는 Agent - LMCor : Small Language model도 Large Language model만큼 할수 있을까? [운영방식] **세미나 발제자** 랩 참가자들은 돌아가며 1회씩 세미나를 주관합니다. 논문세미나 발표자료 준비와 세미나 진행을 담당합니다. **세미나 참여자** 세미나 발제 차례가 아닐때 랩 참가자들은 당일 세미나 주제에 대한 질문을 세미나 전전날까지 랩 슬랙 채널에 올려 주셔야 합니다.

FunLM Lab 시즌2에 참여하시려면, FunLM Lab 시즌1에서 다루었던 Large Language Model에 대한 기본적인 개념을 알고 계셔야 합니다. 그러므로 자연어처리에 대한 기본적인 지식과 경험을 갖춘 분 , 논문을 읽고 정리해서 다른 사람과 개념을 공유할 수 있는 분이어야 합니다. 강화학습에 대한 지식이 있으시다면 더욱 좋습니다만, 지식이 없으시더라도 참여 가능합니다. 마지막으로, 새로운 AI시대에 대한 호기심과 열정이 가득한 분이어야 합니다. 참여신청서에 다음 항목에 대해 기재해 주시길 부탁드립니다. 1) 현재 본인의 소속과 하고 계신 일에 대해 소개해 주세요. 2) AI관련(특히 자연어처리 관련이면 더욱 좋습니다) 본인의 경험을 소개해 주세요. 3) 이전에 모두의연구소에서 활동하신 이력이 있으신가요? 있었다면 가장 좋았던 모임에 대해(어떤 점이 좋았었는지) 언급해 주세요. 4) FunLM Lab에 어떤 점을 기대하고 계신가요?

현재 본인의 소속과 하고 계신 일에 대해 소개해 주세요.

AI관련(특히 자연어처리 관련이면 더욱 좋습니다) 본인의 경험을 소개해 주세요.

이전에 모두의연구소에서 활동하신 이력이 있으신가요? 있었다면 가장 좋았던 모임에 대해(어떤 점이 좋았었는지) 언급해 주세요.

FunLM Lab에 어떤 점을 기대하고 계신가요?