백엔드 개발 능력에 AI 활용 능력까지 더하면 어떻게 되는지 궁금해?!
LAB소개
LAB의 비전과 목표

본 랩은 NVIDIA가 만들거나 서비스 하고있는 Vision Foundation 모델들을 심도 있게 탐구하고, 이러한 모델들을 NVIDIA 자체환경 혹은 다른 방법을 통해 적용해 보는 것을 목표로 합니다. Stable Diffusion, Llama, CLIP, metaCLIP, SAM, Llava, Osprey, Honeybee, Ferret, InternLM 등 다양한 Foundation이자 mLLM 모델을 포괄적으로 다루며, 이를 통해 추후에는 downstream에서의 적용 및 논문 작성까지도 진행해보려고 합니다. (최대한 최신 워크 위주로 살펴볼 것 같습니다.)
활동계획
우선적으로는 엔비디아가 운영하는 NGC CATALOG에서 제공되는 서비스를 최대한 활용하여 관련된 연구들을 먼저 습득하고 확장해나가려 합니다.

🟢 NGC 링크: https://catalog.ngc.nvidia.com/?filters=&orderBy=weightPopularDESC&query=
🟢 모집 인원: 8명
🟢 장소: 온라인 우선, 시간이 된다면 협의하에 오프라인 미팅 (강남 모두연 or 엔비디아 미팅 룸).
🟢 하게 될 일 :
- 정기적인 Paper Review 및 토론 : 최신 및 중요한 Vision관련 Foundation 논문들을 리뷰하고 팀원들과 깊이 있는 토론을 진행합니다. 또한 NVIDIA에서 사용해볼 수 있는 논문(연구)은 가볍게 활용 방법에 대해서도 조사하여 공유하는 시간을 가질 예정입니다.

- NeurlPS workshop list 공개 이후에 적절한 down task를 조사하고 선택하여 해당 분야에 맞게 foundation 모델을 활용하는 방법에 대해 토론 및 실험합니다. (당연히
준비가 탄탄하다면 main conference or 다른 conference까지도 생각하고 있습니다.) (ex. NIPS, WACV, AAAI, Workshop on robustness of zero/few-shot learning in foundation models (foundation workshop) 등등)

- 논문 작성
온라인으로 진행할 예정이며 기록이 사라지지 않으며 화상 채팅이 가능한 DISCORD를 사용하려고 합니다.(이 또한 편한 방향으로 수정될 수 있습니다.)
시간은 추후 팀원 분들과 조정하려고 합니다. 또한 최종 논문 제출까지 8명이 유지된다면 팀을 나눠서 논문 제출하는 방향도 고려 중입니다.
랩 소통이 가능한 모두의 연구소 Slack은 필수로 참가합니다.

🟢 운영 시간
운영 시간은 임시로 기본시간으로 설정해두었는데 최대한 평일 저녁에 시간을 맞춰 진행하려 합니다. (대다수가 회사원, 대학원생일 것을 고려하여) 따라서 지금 임시적인 시간을 공지해두고, 상세 일정은 서로 이야기하여 합니다. (최대한 탄력적으로 운영)
연구목표
#논문_작성   
참여조건
- 논문을 읽고 이해할 수 있는 분; Vision Foundation 또는 그와 관련된 최신 work.
- 서로 상의한 시간을 최대한 지킬 수 있는 분.
- 해당 분야의 논문을 읽고, 발표하며 질문에 답변할 수 있는 분.
-- 매 발표마다 질문 같은 경우는 필수로 하도록 하여 미팅에 집중을 유도하려 합니다.
- 온라인 미팅시에 화면을 켤 수 있는 분.

- 진행했던 연구, 프로젝트 혹은 그 외 모든 것이 담긴 CV 혹은 프로젝트 페이지를 공유해주 실수 있는 분.
- GPU 자원을 가지신 분 ( 우대 )
-- Foundation model을 돌리려면 거의 VRAM이 최소 12GB는 있어야 돌릴 수 있습니다. ( 그 보다 큰 경우가 대다수.)

- 스터디를 처음부터 끝까지 종료하여 결과를 내 본 경험이 있는 분 ( 우대 )
- conference 논문을 작성해본 분 (우대)
랩짱소개
김준수

김준수

자기 소개

저는 울산과학기술원 내에서 UVL LAB 소속으로 석박 통합 과정 3학기를 준비하고 있는 학생입니다. 최근까지는 Continual Learning 분야를 가지고 ICASSP'24, CVPRW'23 등에 1 저자로 제출하였으며, Stable DIffusion(SD)과 class incremental object detection을 결합하여 1저자로 제출한 논문이 CVPR'24에 Accept되었습니다. 앞으로는 SD와 같은 foundation 모델 뿐만 아니라 Vision을 입력으로 사용하는 mLLM등에도 관심을 가지고 연구에 다양하게 활용해보려 하고 있습니다. 연구와 관련된 질의는 언제든 환영입니다! 소개 링크 : https://sites.google.com/view/jjunsss

소속

울산과학기술원 UVLL

E-mail

jjunsssk@unist.ac.kr

NVIDIA - Foundation Models Lab
모임시작
2024년 03월 21일
모임일시
격주 목요일 19:30 ~ 21:30
모임장소
온라인
모집기간
2024년 02월 19일 ~ 03월 13일
모집인원
10명
모집방법
선발
모임비용
무료
백엔드 개발 능력에 AI 활용 능력까지 더하면 어떻게 되는지 궁금해?!
NVIDIA - Foundation Models Lab
모임시작
2024년 03월 21일
모임일시
격주 목요일 19:30 ~ 21:30
모임장소
온라인
모집기간
2024년 02월 19일 ~ 03월 13일
모집인원
10명
모집방법
선발
모임비용
무료
LAB 소개
LAB의 비전과 목표

본 랩은 NVIDIA가 만들거나 서비스 하고있는 Vision Foundation 모델들을 심도 있게 탐구하고, 이러한 모델들을 NVIDIA 자체환경 혹은 다른 방법을 통해 적용해 보는 것을 목표로 합니다. Stable Diffusion, Llama, CLIP, metaCLIP, SAM, Llava, Osprey, Honeybee, Ferret, InternLM 등 다양한 Foundation이자 mLLM 모델을 포괄적으로 다루며, 이를 통해 추후에는 downstream에서의 적용 및 논문 작성까지도 진행해보려고 합니다. (최대한 최신 워크 위주로 살펴볼 것 같습니다.)
활동계획
우선적으로는 엔비디아가 운영하는 NGC CATALOG에서 제공되는 서비스를 최대한 활용하여 관련된 연구들을 먼저 습득하고 확장해나가려 합니다.

🟢 NGC 링크: https://catalog.ngc.nvidia.com/?filters=&orderBy=weightPopularDESC&query=
🟢 모집 인원: 8명
🟢 장소: 온라인 우선, 시간이 된다면 협의하에 오프라인 미팅 (강남 모두연 or 엔비디아 미팅 룸).
🟢 하게 될 일 :
- 정기적인 Paper Review 및 토론 : 최신 및 중요한 Vision관련 Foundation 논문들을 리뷰하고 팀원들과 깊이 있는 토론을 진행합니다. 또한 NVIDIA에서 사용해볼 수 있는 논문(연구)은 가볍게 활용 방법에 대해서도 조사하여 공유하는 시간을 가질 예정입니다.

- NeurlPS workshop list 공개 이후에 적절한 down task를 조사하고 선택하여 해당 분야에 맞게 foundation 모델을 활용하는 방법에 대해 토론 및 실험합니다. (당연히
준비가 탄탄하다면 main conference or 다른 conference까지도 생각하고 있습니다.) (ex. NIPS, WACV, AAAI, Workshop on robustness of zero/few-shot learning in foundation models (foundation workshop) 등등)

- 논문 작성
온라인으로 진행할 예정이며 기록이 사라지지 않으며 화상 채팅이 가능한 DISCORD를 사용하려고 합니다.(이 또한 편한 방향으로 수정될 수 있습니다.)
시간은 추후 팀원 분들과 조정하려고 합니다. 또한 최종 논문 제출까지 8명이 유지된다면 팀을 나눠서 논문 제출하는 방향도 고려 중입니다.
랩 소통이 가능한 모두의 연구소 Slack은 필수로 참가합니다.

🟢 운영 시간
운영 시간은 임시로 기본시간으로 설정해두었는데 최대한 평일 저녁에 시간을 맞춰 진행하려 합니다. (대다수가 회사원, 대학원생일 것을 고려하여) 따라서 지금 임시적인 시간을 공지해두고, 상세 일정은 서로 이야기하여 합니다. (최대한 탄력적으로 운영)
연구목표
#논문_작성   
참여조건
- 논문을 읽고 이해할 수 있는 분; Vision Foundation 또는 그와 관련된 최신 work.
- 서로 상의한 시간을 최대한 지킬 수 있는 분.
- 해당 분야의 논문을 읽고, 발표하며 질문에 답변할 수 있는 분.
-- 매 발표마다 질문 같은 경우는 필수로 하도록 하여 미팅에 집중을 유도하려 합니다.
- 온라인 미팅시에 화면을 켤 수 있는 분.

- 진행했던 연구, 프로젝트 혹은 그 외 모든 것이 담긴 CV 혹은 프로젝트 페이지를 공유해주 실수 있는 분.
- GPU 자원을 가지신 분 ( 우대 )
-- Foundation model을 돌리려면 거의 VRAM이 최소 12GB는 있어야 돌릴 수 있습니다. ( 그 보다 큰 경우가 대다수.)

- 스터디를 처음부터 끝까지 종료하여 결과를 내 본 경험이 있는 분 ( 우대 )
- conference 논문을 작성해본 분 (우대)
랩짱소개
김준수

김준수

자기 소개

저는 울산과학기술원 내에서 UVL LAB 소속으로 석박 통합 과정 3학기를 준비하고 있는 학생입니다. 최근까지는 Continual Learning 분야를 가지고 ICASSP'24, CVPRW'23 등에 1 저자로 제출하였으며, Stable DIffusion(SD)과 class incremental object detection을 결합하여 1저자로 제출한 논문이 CVPR'24에 Accept되었습니다. 앞으로는 SD와 같은 foundation 모델 뿐만 아니라 Vision을 입력으로 사용하는 mLLM등에도 관심을 가지고 연구에 다양하게 활용해보려 하고 있습니다. 연구와 관련된 질의는 언제든 환영입니다! 소개 링크 : https://sites.google.com/view/jjunsss

소속

울산과학기술원 UVLL

E-mail

jjunsssk@unist.ac.kr