한 줄 소개
Research Lab on Model Compression using Low Rank-Adaptor
분야
ENGINEERING
목표 결과물
PAPER, OPEN_SOURCE
랩 소개
LoRA를 compression의 기법으로 사용해서, Computer vision model이나 Large Language model의 compression을 연구하는 LAB 입니다.
운영 방식
활동 계획 매주 화요일 강남캠퍼스 미팅 19:30~21:30, 나머지 요일 자유롭게 오프라인 미팅 LAB 초반 (1~3주) Computer vision model (VGG, ResNet) 에 대해서 LoRA를 이용한 compression 확인 LAB 중반 (4~6주) Large Language model (GPT-2, 3, LLaMA, Alpaca ...)에 대해서 LoRA를 이용한 compression 확인 Vision transformer model 에 대해서 LoRA를 이용한 compression 확인 LAB 후반 (?) 추가 실험, 실험 데이터 정리 및 논문 작성
참여 요건
LoRA에 대한 이해가 깊은 사람 & Aiffel 과정자 우대
사전 질문
lora에 대해 잘 아시나요?
nlp에 대해 잘 아시나요?
랩장 소개
황인준
안녕하세요 저는 물리학 석사를 전공하고 현재는 모두의 연구소에서 Aiffel 5기 과정을 수료중에 있는 황인준입니다. 이 과정 중에 논문을 읽을 일들이 있었고, 수학적으로 인공지능이 고난이도의 수학보다는 단순한 수학을 많은 컴퓨팅 파워로 돌파한다는 느낌을 받았습니다. 그래서 그 빈 부분을 살펴보는 연구를 해보고 싶습니다.
C-LoRA (Compression LoRA) LAB
모임 기간
2023.10.31 -
모임 일시
매주 화요일 19:30 ~ 21:30
장 소
강남
모집 기간
2023.11.04 - 2023.11.13
모집 인원
3명
선발 방식
사전 질문 기반 심사