멀티태스크 러닝 & 메타 러닝
#Curriculum and Lifelong learning, #Meta Learning, #Multi-Task Learning
시작일
20200713
진행일시
매주 월 / 19:30
모집현황
진행장소
강남캠퍼스
시작일
20200713
진행일시
매주 월 / 19:30
모집현황
진행장소
강남캠퍼스
사회적 거리두기 2단계 이상일 경우, ZOOM을 활용하여 온라인으로 진행될 수 있습니다.
학습대상
- - 강화학습을 이미 알고 있고 메타러닝에 대해 관심이 많으신 분
- - 논문을 이해하고 발표가 가능하신 분
- - 6개월 과정을 모두 참여하실 수 있는 분
- - 영어 강의를 따라가는데 큰 어려움이 없으신 분
- - 토론의 과정을 중요하게 생각하고 건전한 토론 문화를 즐기시는 분
과목난이도
쉬움 (1단계) ~ 어려움(5단계)
☘️☘️☘️☘️: 충분한 선수지식과 구현 경험을 바탕으로 응용해봅시다.
학습목표
Goal-conditioned reinforcement learning, meta-learning, curriculum and lifelong learning를 이해하는 것이 목표입니다.
운영방식
- 첫 시간에 각 주 별 강의 발표자를 선정합니다.
- 희망자 우선 순위로 희망일에 따라 선정할 예정이며 가급적 모든 사람이 발표에 참여합니다.
- 매주 풀잎 시간에는 발표자가 강의 슬라이드를 설명하고 질문이 나오면 그 주제에 대해 심화된 토론 시간을 갖도록 진행을 합니다.
- 강의 내용에 대해 의문을 많이 갖고 적극적으로 질문을 해야 하며, 시간 내에 해결이 안된 질문은 Slack을 통해 계속 토론을 진행할 수 있습니다.
선수지식
- 강화학습/딥러닝에 대한 지식이 갖춰지신 분
커리큘럼
사전학습 / 이론
| 주차 | 학습내용 | 학습자료 |
|---|---|---|
| 1 주차 | Problem definitions, applications | 동영상/슬라이드 |
| 2 주차 | Supervised multi-task learning, black-box meta-learning | 동영상/슬라이드 |
| 3 주차 | Optimization-based meta-learning | 동영상/슬라이드 |
| 4 주차 | Applications in imitation learning, vision, language, generative models | 논문 2편 (• P1: Meta-Learning for Low-Resource Neural Machine Translation. Gu et al. (2018) • P2: Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions. Reed et al. (2017)) |
| 5 주차 | Applications in imitation learning, vision, language, generative models | 논문 2편 (• P3: One-Shot Imitation Learning. Duan et al. (2017) • P4: Massively Multitask Networks for Drug Discovery. Ramsundar et al. (2015)) |
| 6 주차 | Few-shot learning via metric learning | 동영상/슬라이드 |
| 7 주차 | Hybrid meta-learning approaches | 논문 2편 (• P1: Meta-Learning with Latent Embedding Optimization. Rusu et al. (2018) • P2: Fast Context Adaptation via Meta-Learning. Zintgraf et al. (2018)) |
| 8 주차 | Hybrid meta-learning approaches | 논문 2편 (• P3: Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples. Triantafillou et al. (2019) • P4: Few-Shot Learning with Graph Neural Networks. Garcia et al. (2017)) |
| 9 주차 | Bayesian meta-learning | 동영상/슬라이드 |
| 10 주차 | Meta-learning for active learning, weakly-supervised learning, unsupervised learning | 논문 2편 (• P1: Meta-Learning Update Rules for Unsupervised Representation Learning. Metz et al. (2018) • P2: Learning Algorithms for Active Learning. Bachman et al. (2017)) |
| 11 주차 | Meta-learning for active learning, weakly-supervised learning, unsupervised learning | 논문 2편 (• P3: One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning. Yu et al. (2018) • P4: Meta-Learning for Semi-Supervised Few-Shot Classification. Ren et al. (2018)) |
퍼실소개
윤성진
소프트웨어 연구개발 및 제품기획 업무를 했었고 최근에는 딥러닝/강화학습에 관심을 갖고 관련 연구, 강의, 책 쓰기 등을 하고 있습니다. 딥 강화학습을 공부하면서 메타러닝에 대해 관심이 생겼었고 메타 러닝의 대가인 첼시 핀 교수가 강의를 동영상으로 공개해줘서 플립을 열게 되었습니다.
소프트웨어 연구개발 및 제품기획 업무를 했었고 최근에는 딥러닝/강화학습에 관심을 갖고 관련 연구, 강의, 책 쓰기 등을 하고 있습니다. 딥 강화학습을 공부하면서 메타러닝에 대해 관심이 생겼었고 메타 러닝의 대가인 첼시 핀 교수가 강의를 동영상으로 공개해줘서 플립을 열게 되었습니다.
메타러닝의 권위자인 첼시 핀 교수의 스탠포드대 강의 CS 330: Deep Multi-Task and Meta Learning 강의를 동영상 강의와 논문 읽기 방법으로 따라가는 과정입니다.