BERT 모델이후의 심화 과정으로 현재 NLP 에서 사용하고 있는 PLM 모델중에 중요 모델에 대해서 함께 공부하고 토론하며 성장하고자 하는 모임입니다.
- PreTrained language Model에서 최근에 중요한 모델에 대해 이해 하고 구현하며 NLP 지식과 경험을 얻아 가실수 있으실것 같습니다.
- 다른 연구원 분들과의 발표및 세미나를 통해 함께 성장할수 있을것 같습니다.
-GPT , BERT , AlBert , RoBERTA , ELECTRA 모델에 대한 이해및 구현
- 파이썬 프로그래밍에 대한 이해 및 실습
- 자연어 처리 전반적인 내용및 기본 사항에 대한 지식
-그리고 모두 카메라를 켜주셨으면 합니다. 온라인이지만 서로 얼굴을 보며 말하고 듣는 인격적 소통을 할 때 함께 스터디하는 시너지 효과가 큰것 같습니다.
여기에 동의하시는 분들만 신청을 부탁드립니다.
-7주까지는 매주 2인씩 1인은 정해진 모델의 이론을 설명하고, 1인은 모델을 통한 실습 및 기본 이론 발표를 합니다.
-남은 5주는 2인씩(1인 50분 발표) 더 심화 공부하고 싶은 주제를 선택해 결정하여 발표합니다.
2주차 : BERT 이해 및 실습 & 기본이론1: 확률(Baysian, likelihood 등)
기본이론 링크:
3주차 : GPT(vs. BERT) 이해 및 실습 & 기본이론2: Loss function(Cross entropy loss 등)
기본이론 링크: http://dmqm.korea.ac.kr/activity/seminar/326
4주차 : RoBERTA 이해 및 실습 & 기본이론3: Normalization
기본이론 링크: http://dmqm.korea.ac.kr/activity/seminar/364
5주차 : ALBERT 이해 및 실습 & 기본이론4: Similarity (cosine, 어텐션 등)
기본이론 링크:
6주차 : BART 이해 및 실습 & 기본이론5: Optimization
기본이론 링크: https://www.youtube.com/watch?v=0ro4iuilntY
7주차 : ELECTRA 이해 및 실습 & 기본이론6:
기본이론 링크:
8~12주차: 이후 심화 주제 멤버들이 선택해서 진행
https://www.youtube.com/watch?v=f2__p05aY2I&t=13s
홍성만
#자연어처리#함께 해요#함께 성장하는
자기 소개 및 개설 동기
안녕하세요. 이번 풀잎스쿨을 개설하게 된 홍성만이라고 합니다. 풀잎스쿨을 통해서 인공지능을 공부하게 되었는데, 스터디를 하면서 그동안 많은 분들을 만나게 되었던것 같습니다.
공부하는 과정에서 단지 기술적인 공부뿐 아니라, 바쁜 직장생활이나, 학교 생활 가운데서도 자신의 꿈을 위해서 노력하고 성실하게 함께 공부했던 많은 분들을 만나고 이야기하면서
제 자신도 돌아보게 되고, 성장해 나가는 모습을 보게 되는것 같아 저에게는 의미가 컸던것 모임이었던 것 같습니다.
제가 가장 좋아하는 인물중에 하나인 헬렌켈러는 이런 이야기를 하였습니다.
"앞을 못보는 것보다 더 안좋은 상황이 있을까요? 있습니다. 볼수는 있지만 비젼이 없는 사람입니다"
우리가 가지고 있는 미래에 대한 불확실성 가운데에서도 용기있게 도전하고 내일의 꿈을 꾸는 사람들이 모이는 모임이면 좋겠다는 생각이 들었습니다.
돌이켜 보면 자연어 처리에 대해 잘 몰라 시작하게 된 풀잎스쿨이었던것 같습니다. 아직도 잘 모르지만 모르는 것은 물어 보고, 아는 것은 도움을 주며 , 함께 앞으로 나아갈 수
있는 과정이 되었으면 하는 생각에서 새로 풀잎스쿨을 개설하게 되었습니다.
소속
전자 회사 개발자
풀잎스쿨 / LAB 참여 이력
Advanced Computer vision LAB 랩짱
풀잎33기 Medical AI 기초II 퍼실
풀잎30기 Medical AI Research 기초과정 퍼실
풀잎25기 Speech Recognition with Deep learning 퍼실
풀잎21기 Beyond Bert (NLP 중급 과정) 퍼실
풀잎19기 Natural language Processing 특화과정 퍼실
풀잎18기 Natural language processing 기초부터 심화까지 퍼실
풀잎24기 Object Detection and Segmentation DIY 참여
풀잎17기 CS231n으로 시작하는 딥러닝 참여
풀잎14기 GAN 기초 실전 코스 참여
풀잎13기 GCN paper review 참여
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
모임시작
2022년 07월 16일
모임일시
매주 토요일 16:00 ~ 18:00
모임장소
온라인캠퍼스
모집기간
2022년 06월 30일 ~ 07월 15일
모집인원
12명
모집방법
신청 후 선발
165,000원 / 총 11회 24시간
(7,500원 / 시간)
📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!
모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.
"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"
모임시작
2022년 07월 16일
모임일시
매주 토요일 16:00 ~ 18:00
모임장소
온라인캠퍼스
모집기간
2022년 06월 30일 ~ 07월 15일
모집인원
12명
모집방법
신청 후 선발
165,000원 / 총 11회 24시간
(7,500원 / 시간)
📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!
모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.
"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"
BERT 모델이후의 심화 과정으로 현재 NLP 에서 사용하고 있는 PLM 모델중에 중요 모델에 대해서 함께 공부하고 토론하며 성장하고자 하는 모임입니다.
- PreTrained language Model에서 최근에 중요한 모델에 대해 이해 하고 구현하며 NLP 지식과 경험을 얻아 가실수 있으실것 같습니다.
- 다른 연구원 분들과의 발표및 세미나를 통해 함께 성장할수 있을것 같습니다.
-GPT , BERT , AlBert , RoBERTA , ELECTRA 모델에 대한 이해및 구현
- 파이썬 프로그래밍에 대한 이해 및 실습
- 자연어 처리 전반적인 내용및 기본 사항에 대한 지식
-그리고 모두 카메라를 켜주셨으면 합니다. 온라인이지만 서로 얼굴을 보며 말하고 듣는 인격적 소통을 할 때 함께 스터디하는 시너지 효과가 큰것 같습니다.
여기에 동의하시는 분들만 신청을 부탁드립니다.
-7주까지는 매주 2인씩 1인은 정해진 모델의 이론을 설명하고, 1인은 모델을 통한 실습 및 기본 이론 발표를 합니다.
-남은 5주는 2인씩(1인 50분 발표) 더 심화 공부하고 싶은 주제를 선택해 결정하여 발표합니다.
2주차 : BERT 이해 및 실습 & 기본이론1: 확률(Baysian, likelihood 등)
기본이론 링크:
3주차 : GPT(vs. BERT) 이해 및 실습 & 기본이론2: Loss function(Cross entropy loss 등)
기본이론 링크: http://dmqm.korea.ac.kr/activity/seminar/326
4주차 : RoBERTA 이해 및 실습 & 기본이론3: Normalization
기본이론 링크: http://dmqm.korea.ac.kr/activity/seminar/364
5주차 : ALBERT 이해 및 실습 & 기본이론4: Similarity (cosine, 어텐션 등)
기본이론 링크:
6주차 : BART 이해 및 실습 & 기본이론5: Optimization
기본이론 링크: https://www.youtube.com/watch?v=0ro4iuilntY
7주차 : ELECTRA 이해 및 실습 & 기본이론6:
기본이론 링크:
8~12주차: 이후 심화 주제 멤버들이 선택해서 진행
https://www.youtube.com/watch?v=f2__p05aY2I&t=13s
공부하는 과정에서 단지 기술적인 공부뿐 아니라, 바쁜 직장생활이나, 학교 생활 가운데서도 자신의 꿈을 위해서 노력하고 성실하게 함께 공부했던 많은 분들을 만나고 이야기하면서
제 자신도 돌아보게 되고, 성장해 나가는 모습을 보게 되는것 같아 저에게는 의미가 컸던것 모임이었던 것 같습니다.
제가 가장 좋아하는 인물중에 하나인 헬렌켈러는 이런 이야기를 하였습니다.
"앞을 못보는 것보다 더 안좋은 상황이 있을까요? 있습니다. 볼수는 있지만 비젼이 없는 사람입니다"
우리가 가지고 있는 미래에 대한 불확실성 가운데에서도 용기있게 도전하고 내일의 꿈을 꾸는 사람들이 모이는 모임이면 좋겠다는 생각이 들었습니다.
돌이켜 보면 자연어 처리에 대해 잘 몰라 시작하게 된 풀잎스쿨이었던것 같습니다. 아직도 잘 모르지만 모르는 것은 물어 보고, 아는 것은 도움을 주며 , 함께 앞으로 나아갈 수
있는 과정이 되었으면 하는 생각에서 새로 풀잎스쿨을 개설하게 되었습니다.
Advanced Computer vision LAB 랩짱
풀잎33기 Medical AI 기초II 퍼실
풀잎30기 Medical AI Research 기초과정 퍼실
풀잎25기 Speech Recognition with Deep learning 퍼실
풀잎21기 Beyond Bert (NLP 중급 과정) 퍼실
풀잎19기 Natural language Processing 특화과정 퍼실
풀잎18기 Natural language processing 기초부터 심화까지 퍼실
풀잎24기 Object Detection and Segmentation DIY 참여
풀잎17기 CS231n으로 시작하는 딥러닝 참여
풀잎14기 GAN 기초 실전 코스 참여
풀잎13기 GCN paper review 참여
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.