Lab Image

PyTorch + NPU LAB

모임 기간

2024.12.04 - 2025.02.26

모임 일시

매주 수요일 19:00 ~ 21:00

장      소

온라인

모집 기간

2024.11.01 - 2024.11.30

모집 인원

250명

선발 방식

사전 질문 기반 심사

랩 소개
운영 방식
참여 요건
랩장 소개

⭐️ 랩 소개

한 줄 소개
Pytorch와 NPU 연동을 주제로 내부 구조 학습부터 분산 추론, 커널 프로그래밍까지 단계별로 연구
분야
ENGINEERING
목표 결과물
PAPER, BOOK, OPEN_SOURCE
“Pytorch와 NPU 연동"이란 큰 주제를 매회 3개월씩, 3회로 나누어 연구해 볼 계획입니다. 1기: Pytorch internal에 대한 공부 + Pytorch와 NPU 기본 연동 - Pytorch internal에 대한 공부 - NPU용 torch.compile backend: 디자인 및 구현 2기: Pytorch distributed and NPU distributed inference - Pytorch 분산 API에 대한 이해 - Pytorch distributed API를 활용한 NPU inference 가속: 디자인 및 구현 3기: Pytorch and NPU kernel programming - Triton에 대한 이해 - Pytorch와 Trition을 활용한 NPU kernel programming: 디자인 및 구현

⭐️ 운영 방식

1기의 경우 Pytorch internal에 대한 study를 되도록 많은 분들이 참여하실 수 있도록 모임을 online / offline hybrid로 운영하려 합니다. - 지원하신 모든 분들을 online으로 선발하고, 그 중에 offline으로 참여하실 분들을 20명 이하로 선발 - 매주 모임은 1부는 온라인/오프라인 hybrid로, 2부는 offline으로 운영 - 1부는 모든 랩원들이 참여하는 lecture 형식으로 진행 (1시간). 효율적인 진행을 위해 lecture에 대한 Q&A는 별도 board를 활용 - 2부는 랩장과 offline으로 참여하는 랩원들이 함께 board에 올라온 질문에 대응하고, 다음 lecture를 준비하는 시간으로 활용할 계획임 대략적인 커리큘럼은 다음과 같습니다. - ML stack에 대한 개요 - Pytorch project overview - Pytorch basics - Pytorch graph mode - Pytorch profiling & debugging - Putting things together - Pytorch + Nvidia GPU - Pytorch + parallelism - Pytorch + quantization - Pytorch + LLM + inference - Pytorch + Rebellions NPU

⭐️ 커리큘럼

⭐️ 참여 요건

관심사 - Pytorch 내부에 대한 관심 - NPU에 대한 관심 - 특히 개발환경 측면에서 필요한 배경지식 - Python을 능숙하게 다룰 수 있음 - ML, 특히 LLM에 대한 기본적인 이해 - Computer architecture, OS, Compiler에 대한 기본 이해 - Open source 개발 환경 경험 (GitHub, etc) LAB 활동 - 정기 모임 참여 (모두의연구소 강남캠퍼스에서 offline으로) - 적극적인 연구 활동 및 공유 - 적극적인 오픈소스 프로젝트 참여

⭐️ 사전 질문

Pytorch 내부에 얼마나 관심이 있으신지요?
NPU 및 NPU의 개발 환경에 대해 얼마나 관심이 있으신지요?
Python을 얼마나 능숙하게 다룰 수 있으신지요?
ML, 특히 LLM에 대해 얼마나 이해하고 계신지요?
Computer architecture, OS, Compiler에 대해 얼마나 이해하고 계신지요?
Open source 개발 환경에 얼마나 친숙하신지요?
정기 모임에 성실하게 참석하실 수 있는지요?

⭐️ 랩장 소개

default_avatar
김홍석
리벨리온, Pytorch KR, 과실연 AI 미래 포럼 · kim.hong.seok@gmail.com
저는 리벨리온에서 Chief Software Architect로 근무하고 있고, 다양한 LLM 최적화 기술과 NPU 개발환경으로서의 Pytorch 활용에 관심이 많습니다. 리벨리온에 입사하기 전, 구글 코리아 R&D부문 대표로 근무했었고, Microsoft, Facebook에서 SW 개발자로 근무한 경험도 있습니다. 특히 컴파일러 관련 연구/개발을 오랫동안 해 왔습니다.
default_avatar
안민욱
리벨리온 · minwook.ahn@gmail.com
안녕하세요. 안민욱입니다.