Meta Research LAB
모임 기간
2023.07.13 -
모임 일시
매주 목요일 19:30 ~ 21:30
장 소
온라인
모집 기간
2023.06.24 - 2023.07.05
모집 인원
7명
선발 방식
사전 질문 기반 심사
랩 소개
운영 방식
참여 요건
랩장 소개
⭐️ 랩 소개
한 줄 소개
Publishing weekly deep learning researcg analysis on Mudium and Reddit
분야
ENGINEERING
목표 결과물
ETC
➕ 메타 수학: 수학에 대한 수학
🧠 메타 인지: 인지에 대한 인지
🥼 메타 리서치: 리서치에 대한 리서치!
딥러닝 자체를 이해하는 것보다도
1. 연구자들은 어떤 문제를 어떻게 해결하는지
2. 어떤 논문들이 탑 학회들에 등재되는지
3. 논문을 어떻게 읽어야 하는지
4. 논문들을 어떻게 연결해서 더 나은 솔루션을 낼 수 있는지
5. 딥러닝 각 분야의 패러다임은 어떻게 이뤄져있는지
6. 내가 중요하다고 생각하거나 좋아하는 리서치는 무엇인지
를 높은 차원에서 연구, 분석 및 공유하여 리서처로서의 안목을 기르기 위해 창설된 랩입니다.
수식이나 알고리즘의 디테일에서 벗어나 하이레벨에서 리서치 자체를 분석합니다! 논문 하나를 100% 이해하는 것보다 구성원들이 분석하는 수십 편의 논문으로부터 인사이트를 얻어가는 것이 목표입니다.
메타 리서치 랩의 철학은 PPO의 저자이자 OpenAI 의 공동 창업자인 John Schulman의 글 An Opinionated Guide to ML Research에 기반합니다.
⭐️ 운영 방식
[활동 계획]
매주 강남캠퍼스에서 오프라인 모임을 통해 리서치에 대한 리서치를 공유합니다.
**매주 목요일 오후 7시 반입니다**
1. 논문 선정: 매주 인당 논문 1개 선택
2. 주 1회 발표 세션: 논문이 풀고자 하는 문제, 의의, 인사이트, 솔루션, 다른 논문들과의 연결점, 개선점 등을 하이레벨로 분석하여 발표
3. 리포트 작성 및 딥러닝 맵 구축: 공개 노션에 딥러닝 필드를 패러다임 별로 계층화하고 본인 명의로 올리는 Medium 리포트를 링크
4. 가치 공유: 유명 딥러닝 그룹 / 레딧에 매주 연재
[메타 리서치 예시]
논문: Tree of Thoughts: Deliberate Problem Solving with Large Language Models
문제: 기존 Left-ro-right의 간단한 패러다임이 최선일까? 로컬 최적에 빠질 수 있고 exploration과 strategic lookahead이 부족하다. 인간과 달리 다양한 솔루션을 예측해 문제를 풀지 않는다.
의의: 기존 패러다임의 LLM을 System1으로 정의하고 Tree Search 를 통해 구조화된 System2 를 제안함
솔루션: Chain of thoughts 를 통해 다양한 스텝 바이 스텝 솔루션들을 Tree로 표현. DFS / BFS 를 통해 최적의 솔루션을 구함.
논문에서 배울 점: 현재 패러다임이 잘 해결하지 못 하는 문제를 설정해서 ToT가 이길 수 있는 곳을 정하고 거기서 얼마나 잘 outperform 하는지 보여줌
향후 개선점: BFS/DFS보다 더 효율적인 search algorithm 제안. ToT를 강화학습 문제로 프레이밍하여 Prompt engineering 대신 간단한 finetuning 을 통해 더 어려운 문제들을 해결할 수 있는 방법 제안. Tree 대신 Graph 가 더 유용할 문제를 찾아 해결.
논평: Low-hanging fruit 의 문제를 심플하고 논리적으로 풀어냄. Prompt engineering 이라 별도의 훈련 없이 적은 리소스로 리서치 가능.
⭐️ 커리큘럼
⭐️ 참여 요건
1. 리서치에 대한 리서치를 통해 본인의 딥러닝 연구를 발전시키고 싶은 분
2. 논문 읽기가 자유로운 ML 중고급자
3. 논문을 효과적으로 읽는 방법을 체득하고 싶은 분
4. 다양한 딥러닝 필드에서 영감을 받고 싶은 분
5. 정제된 딥러닝 리서치 미디어를 만드는데 기여하고 싶은 분
6. [이 글](https://michaelnielsen.org/blog/principles-of-effective-research/)과 [이 글](http://joschu.net/blog/opinionated-guide-ml-research.html), [이 글](https://www.cs.virginia.edu/~robins/YouAndYourResearch.html), [이 글](https://web.mit.edu/tslvr/www/lessons_two_years.html)을 읽고 이글루에 있는 베이글이 익을 정도로 열정이 이글이글 타오르는 분
7. 나에게 최적인 우물을 선택하기 전에 다양한 우물을 실험해보고 싶은 인간형 Multi-Armed Bandits
8. 광활한 딥러닝 필드를 하이레벨로 구조화하고 싶은 분
9. ChatGPT 를 써서라도 영어 글쓰기가 가능하신 분
⭐️ 사전 질문
간단한 자기 소개 부탁 드립니다~
랩에 참여해서 달성하고자 하는 목표가 무엇인가요?
⭐️ 랩장 소개
이동현
University College London · lukeleeai@gmail.com
AI-UX랩 탑재 인원입니다.
김도은
Carnegie Mellon University · dannykim153@gmail.com
Conversational AI 에 관심이 많은 CMU PhD 학생입니다