어떤 모임인가요?
https://github.com/lassl/lassl 프로젝트에 BART, T5, ELECTRA 등의 모델 학습코드를 추가하고 같이 학습하는 모임입니다. 따라서 기존에 NLP를 어느정도 해보셨던 분들에게 매우 권장합니다. 저와 함께 여러 풀잎을 열심히 하셨던 분들은 적극 환영합니다. 같이 공부해요.
모임이 더 궁금하다면 모두의연구소 커뮤니티(https://join.slack.com/t/modulabs/shared_invite/zt-24wqh8x3q-N4AzqCVF_qD1x4RQeqFzAQ) 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!
무엇을 얻을 수 있나요?
LM pretraining하는 방법론
무엇을 공부하나요?
실제 pretraining하는 단계들이 어떤 코드들로 구성되어있는 지 확인할 수 있고, 학습해볼 수 있습니다. 모델 학습 자체는 퍼실이가 가용가능한 자원을 토대로 학습하고 모델을 공유하는 식으로 진행될 예정이며, 참여하시는 분들중 충분한 개인자원을 활용하실 수 있는 분들은 직접 학습해보는 것을 적극 권장합니다.
어떤 사전지식이 필요한가요?
- pytorch에 대한 지식
- huggingface transformers, datasets, tokenizers에 대한 사전 지식
- T5, ELECTRA, BART 등에 대한 지식
이런 분들이 들으면 좋아요!
실제 코드를 개발해보고 싶은 분들이 참여하시면 좋습니다.
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
기존의 공부하는 모임들과는 다르게 서로 개발한 것을 공유하고 merge하는 식으로 돌아갈 것 같습니다. 코드 개발이 어려우신 분은 다시 한 번 생각해주세요!
학습유형
사전학습
모임 운영 방식
실제 개발한 내용을 opensource에 추가하는 모임이므로 주로 개발내용을 공유하고 pr merge하는 식으로 진행될 것 같습니다.
커리큘럼
Icebreaking
BART pretraining
T5 pretraining
ELECTRA pretraining
Refactoring 및 보완
[1주차]
> Ice breaking
> lassl 개발내역 및 이 과정에서 개발할 것들 소개
> lassl evaluator 프로젝트 계획 소개
> Ice breaking
> lassl 개발내역 및 이 과정에서 개발할 것들 소개
> lassl evaluator 프로젝트 계획 소개
BART pretraining
[2주차]
> BART pretraining을 위한 dataset 준비 및 전처리 코드 작성
> BART pretraining을 위한 학습 코드 작성 및 학습
[3주차]
> BART pretraining을 위한 평가 코드 작성
> BART pretraining을 위한 dataset 준비 및 전처리 코드 작성
> BART pretraining을 위한 학습 코드 작성 및 학습
[3주차]
> BART pretraining을 위한 평가 코드 작성
T5 pretraining
[4주차]
> T5 pretraining을 위한 dataset 준비 및 전처리 코드 작성
> T5 pretraining을 위한 학습 코드 작성 및 학습
[5주차]
> T5 pretraining을 위한 평가 코드 작성
> T5 pretraining을 위한 dataset 준비 및 전처리 코드 작성
> T5 pretraining을 위한 학습 코드 작성 및 학습
[5주차]
> T5 pretraining을 위한 평가 코드 작성
ELECTRA pretraining
[6주차]
> ELECTRA pretraining을 위한 dataset 준비 및 전처리 코드 작성
> ELECTRA pretraining을 위한 학습 코드 작성
[7주차]
> ELECTRA pretraining을 위한 평가 코드 작성
> ELECTRA pretraining을 위한 dataset 준비 및 전처리 코드 작성
> ELECTRA pretraining을 위한 학습 코드 작성
[7주차]
> ELECTRA pretraining을 위한 평가 코드 작성
Refactoring 및 보완
7주차까지 진행된 내용에서 미진했던 부분들을 정리
교재 / 학습자료 / 준비물
https://github.com/lassl/lassl 를 개발하고 이를 실제로 학습하고 평가하는 것이기 때문에 BERT, RoBERTa, GPT2, BART, T5, ELECTRA 등에 대한 지식이 있어야 합니다.
첫 시간 전 준비사항
https://github.com/lassl/lassl을 돌려보거나 코드를 읽어보시면 좋을 것 같습니다.
퍼실이 소개
김보섭
#자연어처리 #ESTJ
자기 소개 및 개설 동기
지인들과 같이 개발하던 opensource를 이대로 방치해둘 수 없어서, 좀 더 타이트하게 개발해보고싶어서 모임을 개설하게 되었습니다.
소속
카카오브레인
풀잎스쿨 / LAB 참여 이력
PRDL 랩짱
풀잎26기 NLP with Transformers 퍼실
풀잎20기 PretrainingLM 퍼실
풀잎18기 NLP with HuggingFace (part2) 퍼실
풀잎17기 NLP with HuggingFace 퍼실
풀잎115기 beyond BERT 퍼실
풀잎22기 fastapi로 백엔드 개발하기 참여
풀잎13기 넌 혼자가 아니야 분산처리 스파크 시즌2 참여
풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
PretrainingLM
모임시작
2022년 06월 16일
모임일시
매주 목요일 19:30 ~ 21:30
모임장소
온라인캠퍼스
모집기간
2022년 05월 31일 ~ 06월 18일
모집인원
9명
모집방법
신청 후 선발
165,000원
📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!
모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.
"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"
PretrainingLM
모임시작
2022년 06월 16일
모임일시
매주 목요일 19:30 ~ 21:30
모임장소
온라인캠퍼스
모집기간
2022년 05월 31일 ~ 06월 18일
모집인원
9명
모집방법
신청 후 선발
165,000원
📢 브라우저 창이나 탭을 동시에 한 개 이상 열어서 모임을 신청하는 경우 결제 오류가 발생할 수 있으니 하나씩 신청 부탁드려요!
모집 마감된 모임의 경우 '공석 알림 신청'을 해주시면, 추후 취소하는 참여자가 있는 경우에 이메일로 알림을 보내드립니다.
"모임이 더 궁금하다면 모두의연구소 커뮤니티 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!"
어떤 모임인가요?
https://github.com/lassl/lassl 프로젝트에 BART, T5, ELECTRA 등의 모델 학습코드를 추가하고 같이 학습하는 모임입니다. 따라서 기존에 NLP를 어느정도 해보셨던 분들에게 매우 권장합니다. 저와 함께 여러 풀잎을 열심히 하셨던 분들은 적극 환영합니다. 같이 공부해요.
모임이 더 궁금하다면 모두의연구소 커뮤니티(https://join.slack.com/t/modulabs/shared_invite/zt-24wqh8x3q-N4AzqCVF_qD1x4RQeqFzAQ) 채널 #04_풀잎스쿨 에서 퍼실이에게 직접 질문할 수 있어요!
무엇을 얻을 수 있나요?
LM pretraining하는 방법론
무엇을 공부하나요?
실제 pretraining하는 단계들이 어떤 코드들로 구성되어있는 지 확인할 수 있고, 학습해볼 수 있습니다. 모델 학습 자체는 퍼실이가 가용가능한 자원을 토대로 학습하고 모델을 공유하는 식으로 진행될 예정이며, 참여하시는 분들중 충분한 개인자원을 활용하실 수 있는 분들은 직접 학습해보는 것을 적극 권장합니다.
어떤 사전지식이 필요한가요?
- pytorch에 대한 지식
- huggingface transformers, datasets, tokenizers에 대한 사전 지식
- T5, ELECTRA, BART 등에 대한 지식
이런 분들이 들으면 좋아요!
실제 코드를 개발해보고 싶은 분들이 참여하시면 좋습니다.
이런 분들은 신청하기 전 다시 한 번 고민해보세요!
기존의 공부하는 모임들과는 다르게 서로 개발한 것을 공유하고 merge하는 식으로 돌아갈 것 같습니다. 코드 개발이 어려우신 분은 다시 한 번 생각해주세요!
학습유형
사전학습
모임 운영 방식
실제 개발한 내용을 opensource에 추가하는 모임이므로 주로 개발내용을 공유하고 pr merge하는 식으로 진행될 것 같습니다.
커리큘럼
Icebreaking
BART pretraining
T5 pretraining
ELECTRA pretraining
Refactoring 및 보완
[1주차]
> Ice breaking
> lassl 개발내역 및 이 과정에서 개발할 것들 소개
> lassl evaluator 프로젝트 계획 소개
> Ice breaking
> lassl 개발내역 및 이 과정에서 개발할 것들 소개
> lassl evaluator 프로젝트 계획 소개
BART pretraining
[2주차]
> BART pretraining을 위한 dataset 준비 및 전처리 코드 작성
> BART pretraining을 위한 학습 코드 작성 및 학습
[3주차]
> BART pretraining을 위한 평가 코드 작성
> BART pretraining을 위한 dataset 준비 및 전처리 코드 작성
> BART pretraining을 위한 학습 코드 작성 및 학습
[3주차]
> BART pretraining을 위한 평가 코드 작성
T5 pretraining
[4주차]
> T5 pretraining을 위한 dataset 준비 및 전처리 코드 작성
> T5 pretraining을 위한 학습 코드 작성 및 학습
[5주차]
> T5 pretraining을 위한 평가 코드 작성
> T5 pretraining을 위한 dataset 준비 및 전처리 코드 작성
> T5 pretraining을 위한 학습 코드 작성 및 학습
[5주차]
> T5 pretraining을 위한 평가 코드 작성
ELECTRA pretraining
[6주차]
> ELECTRA pretraining을 위한 dataset 준비 및 전처리 코드 작성
> ELECTRA pretraining을 위한 학습 코드 작성
[7주차]
> ELECTRA pretraining을 위한 평가 코드 작성
> ELECTRA pretraining을 위한 dataset 준비 및 전처리 코드 작성
> ELECTRA pretraining을 위한 학습 코드 작성
[7주차]
> ELECTRA pretraining을 위한 평가 코드 작성
Refactoring 및 보완
7주차까지 진행된 내용에서 미진했던 부분들을 정리
교재 / 학습자료 / 준비물
https://github.com/lassl/lassl 를 개발하고 이를 실제로 학습하고 평가하는 것이기 때문에 BERT, RoBERTa, GPT2, BART, T5, ELECTRA 등에 대한 지식이 있어야 합니다.
첫 시간 전 준비사항
https://github.com/lassl/lassl을 돌려보거나 코드를 읽어보시면 좋을 것 같습니다.
퍼실이 소개
김보섭
#자연어처리 #ESTJ
자기소개 및 개설동기
지인들과 같이 개발하던 opensource를 이대로 방치해둘 수 없어서, 좀 더 타이트하게 개발해보고싶어서 모임을 개설하게 되었습니다.
소속
카카오브레인
풀잎스쿨 / LAB 참여 이력
PRDL 랩짱
풀잎26기 NLP with Transformers 퍼실
풀잎20기 PretrainingLM 퍼실
풀잎18기 NLP with HuggingFace (part2) 퍼실
풀잎17기 NLP with HuggingFace 퍼실
풀잎115기 beyond BERT 퍼실
풀잎22기 fastapi로 백엔드 개발하기 참여
풀잎13기 넌 혼자가 아니야 분산처리 스파크 시즌2 참여
풀잎스쿨 참여 주의사항
Q. 풀잎스쿨은 강의인가요?
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
풀잎스쿨은 학원식 강의가 아닌, 플립러닝(flipped learning) 방식으로 참여자들이 함께 만들어 나가는 스터디 모임이에요. 따라서 출석과 사전 학습을 성실히 수행하고, 공부한 것을 함께 나눌 의지가 있으시다면 그 어디보다 많은 것을 얻어가실 수 있답니다!
Q. '퍼실이'는 누구인가요?
퍼실이는 함께 공부하는 스터디 리더예요. 강사가 아니어서 강의를 하지는 않지만, 커리큘럼을 기획하고 모임을 진행한답니다. 선의와 공유의 마음으로 기꺼이 지원해 모임을 이끌어 주시는 만큼, 퍼실이와 함께 따뜻한 모임을 함께 만들어 주세요. :)
부득이하게 모임 참석이 어렵거나 모임에 늦는 경우처럼, 원활한 참여가 어려운 경우에는 퍼실이가 미리 인지하고 준비하실 수 있도록 반드시 알려주세요!
Q. 사회적 거리두기 단계에 따라 안전하게 진행되나요?
모두의연구소는 사회적 거리두기 단계별 방역 조치를 지켜, 모든 연구원들이 안전한 환경에서 편안히 활동하실 수 있도록 노력하고 있습니다.
오프라인 모임 또한 사회적 거리두기 단계별 방역 조치에 따라 온라인으로 진행될 수 있습니다. 다만, 방역 조치상 오프라인 모임이 가능한 경우 오프라인 진행을 원칙으로 합니다. 추가적으로, 모임의 질을 위해 온•오프라인 병행은 '지양'하고 있습니다.
풀잎스쿨에는 온라인으로 진행되는 다양한 과정이 있답니다. 시간적•거리적 제약으로 오프라인 참여가 어려우신 분들은 온라인 과정을 주목해 주세요! :)
Q. 온라인 모임에 참여할 때 캠과 마이크를 반드시 켜야 하나요?
네. 모두의연구소는 연구원 분들이 최적의 환경에서 학습과 연구에 몰입하실 수 있는 환경 조성을 최우선으로 하고 있습니다. 따라서, 온라인 모임 시에는 토론과 질문이 빈번한 학습 환경에서의 몰입과 매끄러운 진행을 위해, 반드시 캠과 마이크를 켜서 대화에 참여하도록 안내하고 있습니다.
캠과 마이크를 켤 수 없는 경우에는 아쉽지만 참여를 제한하고 있으니, 반드시 캠과 마이크 기능이 포함된 도구를 준비해 주세요. 원활한 의사소통을 위해 자택 등의 조용한 공간에서 참여해 주시면 감사드리겠습니다.
환불정책
첫 모임 시작 전날까지 취소 및 전액 환불이 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.
환불 신청은 홈페이지 상단의 “문의글 작성” 에서 가능합니다.