한 줄 소개
실물 로봇 없어도 Isaac 시뮬레이션으로 참여 가능한 VLA 연구 LAB
분야
ENGINEERING
목표 결과물
OPEN_SOURCE, ETC
랩 소개
"실물 로봇 없이도 참여 가능! Isaac Sim과 SO-ARM 101로 시작하는 VLA 연구" 시각 정보(Vision)와 언어 명령(Language)으로 로봇의 행동(Action)을 제어하는 VLA 모델을 연구하는 모임입니다. 가상과 현실을 연결하는 'Embodied AI'를 함께 개척할 연구원을 모집합니다. 본 랩은 하드웨어 유무에 구애받지 않습니다. 실물 SO-ARM 101 로봇 팔 보유자는 물론, 장비가 없어도 NVIDIA Isaac Sim 시뮬레이터를 활용해 디지털 트윈 환경에서 동일하게 연구에 참여할 수 있습니다. 💡 이런 분들과 함께합니다 - 실물 연구자: SO-ARM 101 실물에 최신 AI 알고리즘을 이식해보고 싶으신 분 - 시뮬레이션 연구자: 장비 없이 가상 환경에서 로봇 행동 제어를 테스트하고 싶으신 분 - AI 엔지니어: 멀티모달 모델을 로보틱스에 접목하는 데 관심이 깊으신 분 💻 참여 권장 사양 - 개인 장비: Isaac Sim 구동 및 원격 제어(Teleop)가 가능한 RTX 탑재 노트북 또는 PC ※ 모델 학습 및 파인튜닝은 모두의연구소 GPU 자원을 활용하므로 개인 장비는 기본 구동 사양이면 충분합니다. 🛠️ 주요 연구 내용 - 환경 구축: SO-ARM 101 실물 연동 및 Isaac Sim 가상 환경 세팅 - 데이터 가공: 시뮬레이션 및 현실 환경의 로봇 행동 데이터 수집 - 모델 학습: OpenVLA 등 오픈소스 모델 스터디 및 태스크 파인튜닝 - 성능 검증: 시뮬레이션 학습 모델의 현실 성능 검증(Sim-to-Real) 모두의연구소가 지원하는 GPU와 연구 공간에서 실전 로보틱스 코드를 함께 만들 분들의 많은 지원 바랍니다!
운영 방식
본 랩은 효율적인 연구와 산출물 도출을 위해 온·오프라인 하이브리드 및 듀얼 트랙(실물/시뮬레이션)으로 운영됩니다. 1. 정기 모임 및 일정 일시: 매주 토요일 오후 2시 ~ 5시 (총 3시간, 파트원 일정에 따라 조율 가능) 장소: 오프라인 공간 (모두의연구소 강남) 및 온라인 메타버스/줌(Zoom) 병행 기간: 총 4개월 (시즌제 운영, 연구 성과에 따라 시즌 2 연장) 2. 모임 타임라인 (3시간 기준) [1부] 주차별 공유 (60분): 슬랙에 공유된 주차별 연구 진행 상황 및 하드웨어/시뮬레이션 구동 결과 브리핑 [2부] 기술 스터디 & 디버깅 (60분): VLA 최신 논문 리뷰, Isaac Sim 환경 및 SO-ARM 101 제어 중 발생한 에러 공유 및 집단 지성 디버깅 [3부] 실전 스프린트 (60분): 랩실 내 실물 로봇 데이터 수집 가이드라인 수립 및 시뮬레이션 환경 동기화 작업 3. 연구원 협업 방식 커뮤니케이션: 공식 슬랙(Slack) 채널을 통한 실시간 질문 및 정보 공유 코드 및 데이터 관리: GitHub Organization을 개설하여 소스 코드 관리, 데이터셋 아카이빙 장비 셰어링: 실물 SO-ARM 101 사용자는 오프라인 모임 시 장비를 지참하거나 랩실 내 배치하여 공동 데이터 수집에 활용 (시뮬레이션 연구자는 데이터 가공 및 가상 환경 검증 집중 지원) 4. 지원 자원 활용 모두의연구소에서 제공하는 GPU 서버를 활용하여 평일에는 각자 모델 학습을 돌리고, 주말 정기 모임에서 학습 결과를 교차 검증합니다.
커리큘럼
1주차: 킥오프 및 환경 구축 완료 공유
2주차: 디지털 트윈 및 제어 환경 공유
3주차: 로봇 행동 데이터 수집 결과 공유
4주차: VLA 모델 구조 분석 및 학습 준비 공유
5주차: 파인튜닝 중간 결과 및 훈련 로그 공유
6주차: 시뮬레이션 및 Sim-to-Real 이식 결과 공유
7주차: 최종 연구 성과 공유 및 랩 아카이빙
참여 요건
참여요건 - 기본 역량: Python 프로그래밍 능력을 갖추고 최신 AI/로보틱스 오픈소스 코드를 빌드 및 수정할 수 있는 분필수 - 장비: NVIDIA Isaac Sim 구동 및 기본 Teleop(원격 제어) 테스트가 가능한 RTX 그래픽카드 탑재 노트북 또는 데스크톱 PC 소지자 - 협업 태도: 매주 정기 모임에 성실하게 참여하고, 하드웨어 에러나 시뮬레이션 버그를 함께 해결해 나갈 열린 소통 능력을 가지신 분 - 우대 사항 (필수 아님): -- ROS / ROS2 환경에서 로봇 제어 및 시뮬레이션을 다뤄보신 분 -- PyTorch 기반 Deep Learning 모델 학습 및 멀티모달(LLM/Vision) 파인튜닝 경험자 -- 실물 SO-ARM 101 로봇을 보유하고 있거나 관련 하드웨어를 직접 조립해보신 분
사전 질문
[기타] 본 연구 모임에 지원하시게 된 동기와 랩을 통해 이루고 싶거나 배우고 싶은 목표를 알려주세요.
[역량] 로보틱스 관련 프로젝트(ROS, Teleoperation 등)나 AI/멀티모달 모델(LLM, Vision 등)을 다뤄본 경험이 있다면
[환경] 어떤 트랙으로 참여하실 예정인가요? (① SO-ARM 101 실물 로봇 보유 및 활용 / ② 장비 없이 NVIDIA Isaac Sim
[하드웨어] 시뮬레이션 트랙 지원자의 경우, NVIDIA Isaac Sim 구동이 가능한 개인 장비(RTX 탑재 노트북 또는 PC)를 보유하고
[시간] 매주 정기 모임(토요일 오후)에 온/오프라인으로 성실히 참여하고, 주차별 연구 진행 상황을 슬랙에 적극적으로 공유해 주실 수 있나요?
랩장 소개
신태욱
SO-ARM 101 기반 VLA LAB
모임 기간
2026.08.22 - 2026.09.26
모임 일시
매주 토요일 11:30 ~ 13:30
장 소
모두의연구소 강남캠퍼스
모집 기간
2026.07.25 - 2026.08.20
모집 인원
10명
선발 방식
사전 질문 기반 심사 + 온라인 커피챗