Lab Image

Meta Research LAB

모임 기간

2023.07.13 -

모임 일시

매주 목요일 19:30 ~ 21:30

장      소

온라인

모집 기간

2023.06.24 - 2023.07.05

모집 인원

7명

선발 방식

사전 질문 기반 심사

랩 소개
운영 방식
참여 요건
랩장 소개

⭐️ 랩 소개

한 줄 소개
Publishing weekly deep learning researcg analysis on Mudium and Reddit
분야
ENGINEERING
목표 결과물
ETC
➕ 메타 수학: 수학에 대한 수학 🧠 메타 인지: 인지에 대한 인지 🥼 메타 리서치: 리서치에 대한 리서치! 딥러닝 자체를 이해하는 것보다도 1. 연구자들은 어떤 문제를 어떻게 해결하는지 2. 어떤 논문들이 탑 학회들에 등재되는지 3. 논문을 어떻게 읽어야 하는지 4. 논문들을 어떻게 연결해서 더 나은 솔루션을 낼 수 있는지 5. 딥러닝 각 분야의 패러다임은 어떻게 이뤄져있는지 6. 내가 중요하다고 생각하거나 좋아하는 리서치는 무엇인지 를 높은 차원에서 연구, 분석 및 공유하여 리서처로서의 안목을 기르기 위해 창설된 랩입니다. 수식이나 알고리즘의 디테일에서 벗어나 하이레벨에서 리서치 자체를 분석합니다! 논문 하나를 100% 이해하는 것보다 구성원들이 분석하는 수십 편의 논문으로부터 인사이트를 얻어가는 것이 목표입니다. 메타 리서치 랩의 철학은 PPO의 저자이자 OpenAI 의 공동 창업자인 John Schulman의 글 An Opinionated Guide to ML Research에 기반합니다.

⭐️ 운영 방식

[활동 계획] 매주 강남캠퍼스에서 오프라인 모임을 통해 리서치에 대한 리서치를 공유합니다. **매주 목요일 오후 7시 반입니다** 1. 논문 선정: 매주 인당 논문 1개 선택 2. 주 1회 발표 세션: 논문이 풀고자 하는 문제, 의의, 인사이트, 솔루션, 다른 논문들과의 연결점, 개선점 등을 하이레벨로 분석하여 발표 3. 리포트 작성 및 딥러닝 맵 구축: 공개 노션에 딥러닝 필드를 패러다임 별로 계층화하고 본인 명의로 올리는 Medium 리포트를 링크 4. 가치 공유: 유명 딥러닝 그룹 / 레딧에 매주 연재 [메타 리서치 예시] 논문: Tree of Thoughts: Deliberate Problem Solving with Large Language Models 문제: 기존 Left-ro-right의 간단한 패러다임이 최선일까? 로컬 최적에 빠질 수 있고 exploration과 strategic lookahead이 부족하다. 인간과 달리 다양한 솔루션을 예측해 문제를 풀지 않는다. 의의: 기존 패러다임의 LLM을 System1으로 정의하고 Tree Search 를 통해 구조화된 System2 를 제안함 솔루션: Chain of thoughts 를 통해 다양한 스텝 바이 스텝 솔루션들을 Tree로 표현. DFS / BFS 를 통해 최적의 솔루션을 구함. 논문에서 배울 점: 현재 패러다임이 잘 해결하지 못 하는 문제를 설정해서 ToT가 이길 수 있는 곳을 정하고 거기서 얼마나 잘 outperform 하는지 보여줌 향후 개선점: BFS/DFS보다 더 효율적인 search algorithm 제안. ToT를 강화학습 문제로 프레이밍하여 Prompt engineering 대신 간단한 finetuning 을 통해 더 어려운 문제들을 해결할 수 있는 방법 제안. Tree 대신 Graph 가 더 유용할 문제를 찾아 해결. 논평: Low-hanging fruit 의 문제를 심플하고 논리적으로 풀어냄. Prompt engineering 이라 별도의 훈련 없이 적은 리소스로 리서치 가능.

⭐️ 커리큘럼

⭐️ 참여 요건

1. 리서치에 대한 리서치를 통해 본인의 딥러닝 연구를 발전시키고 싶은 분 2. 논문 읽기가 자유로운 ML 중고급자 3. 논문을 효과적으로 읽는 방법을 체득하고 싶은 분 4. 다양한 딥러닝 필드에서 영감을 받고 싶은 분 5. 정제된 딥러닝 리서치 미디어를 만드는데 기여하고 싶은 분 6. [이 글](https://michaelnielsen.org/blog/principles-of-effective-research/)과 [이 글](http://joschu.net/blog/opinionated-guide-ml-research.html), [이 글](https://www.cs.virginia.edu/~robins/YouAndYourResearch.html), [이 글](https://web.mit.edu/tslvr/www/lessons_two_years.html)을 읽고 이글루에 있는 베이글이 익을 정도로 열정이 이글이글 타오르는 분 7. 나에게 최적인 우물을 선택하기 전에 다양한 우물을 실험해보고 싶은 인간형 Multi-Armed Bandits 8. 광활한 딥러닝 필드를 하이레벨로 구조화하고 싶은 분 9. ChatGPT 를 써서라도 영어 글쓰기가 가능하신 분

⭐️ 사전 질문

간단한 자기 소개 부탁 드립니다~
랩에 참여해서 달성하고자 하는 목표가 무엇인가요?

⭐️ 랩장 소개

avatar_img
이동현
University College London · lukeleeai@gmail.com
AI-UX랩 탑재 인원입니다.
avatar_img
김도은
Carnegie Mellon University · dannykim153@gmail.com
Conversational AI 에 관심이 많은 CMU PhD 학생입니다