랩 썸네일
LAB
SO-ARM 101 기반 VLA LAB
8월 22일 - 9월 26일
14:00 - 16:00
WEEKLYSAT요일
모두의연구소 강남캠퍼스
13명
2026.09.26에 종료된 랩입니다.

한 줄 소개

실물 로봇 없어도 Isaac 시뮬레이션으로 참여 가능한 VLA 연구 LAB

분야

ENGINEERING

목표 결과물

OPEN_SOURCE, ETC

랩 소개

"실물 로봇 없이도 참여 가능! Isaac Sim과 SO-ARM 101로 시작하는 VLA 연구" 시각 정보(Vision)와 언어 명령(Language)으로 로봇의 행동(Action)을 제어하는 VLA 모델을 연구하는 모임입니다. 가상과 현실을 연결하는 'Embodied AI'를 함께 개척할 연구원을 모집합니다. 본 랩은 하드웨어 유무에 구애받지 않습니다. 실물 SO-ARM 101 로봇 팔 보유자는 물론, 장비가 없어도 NVIDIA Isaac Sim 시뮬레이터를 활용해 디지털 트윈 환경에서 동일하게 연구에 참여할 수 있습니다. 💡 이런 분들과 함께합니다 - 실물 연구자: SO-ARM 101 실물에 최신 AI 알고리즘을 이식해보고 싶으신 분 - 시뮬레이션 연구자: 장비 없이 가상 환경에서 로봇 행동 제어를 테스트하고 싶으신 분 - AI 엔지니어: 멀티모달 모델을 로보틱스에 접목하는 데 관심이 깊으신 분 💻 참여 권장 사양 - 개인 장비: Isaac Sim 구동 및 원격 제어(Teleop)가 가능한 RTX 탑재 노트북 또는 PC ※ 모델 학습 및 파인튜닝은 모두의연구소 GPU 자원을 활용하므로 개인 장비는 기본 구동 사양이면 충분합니다. 🛠️ 주요 연구 내용 - 환경 구축: SO-ARM 101 실물 연동 및 Isaac Sim 가상 환경 세팅 - 데이터 가공: 시뮬레이션 및 현실 환경의 로봇 행동 데이터 수집 - 모델 학습: OpenVLA 등 오픈소스 모델 스터디 및 태스크 파인튜닝 - 성능 검증: 시뮬레이션 학습 모델의 현실 성능 검증(Sim-to-Real) 모두의연구소가 지원하는 GPU와 연구 공간에서 실전 로보틱스 코드를 함께 만들 분들의 많은 지원 바랍니다!

#vla
#robotics
#simulation

운영 방식

본 랩은 효율적인 연구와 산출물 도출을 위해 온·오프라인 하이브리드 및 듀얼 트랙(실물/시뮬레이션)으로 운영됩니다. 1. 정기 모임 및 일정 일시: 매주 토요일 오후 2시 ~ 5시 (총 3시간, 파트원 일정에 따라 조율 가능) 장소: 오프라인 공간 (모두의연구소 강남) 및 온라인 메타버스/줌(Zoom) 병행 기간: 총 4개월 (시즌제 운영, 연구 성과에 따라 시즌 2 연장) 2. 모임 타임라인 (3시간 기준) [1부] 주차별 공유 (60분): 슬랙에 공유된 주차별 연구 진행 상황 및 하드웨어/시뮬레이션 구동 결과 브리핑 [2부] 기술 스터디 & 디버깅 (60분): VLA 최신 논문 리뷰, Isaac Sim 환경 및 SO-ARM 101 제어 중 발생한 에러 공유 및 집단 지성 디버깅 [3부] 실전 스프린트 (60분): 랩실 내 실물 로봇 데이터 수집 가이드라인 수립 및 시뮬레이션 환경 동기화 작업 3. 연구원 협업 방식 커뮤니케이션: 공식 슬랙(Slack) 채널을 통한 실시간 질문 및 정보 공유 코드 및 데이터 관리: GitHub Organization을 개설하여 소스 코드 관리, 데이터셋 아카이빙 장비 셰어링: 실물 SO-ARM 101 사용자는 오프라인 모임 시 장비를 지참하거나 랩실 내 배치하여 공동 데이터 수집에 활용 (시뮬레이션 연구자는 데이터 가공 및 가상 환경 검증 집중 지원) 4. 지원 자원 활용 모두의연구소에서 제공하는 GPU 서버를 활용하여 평일에는 각자 모델 학습을 돌리고, 주말 정기 모임에서 학습 결과를 교차 검증합니다.

커리큘럼

1주차: 킥오프 및 환경 구축 완료 공유

2주차: 디지털 트윈 및 제어 환경 공유

3주차: 로봇 행동 데이터 수집 결과 공유

4주차: VLA 모델 구조 분석 및 학습 준비 공유

5주차: 파인튜닝 중간 결과 및 훈련 로그 공유

6주차: 시뮬레이션 및 Sim-to-Real 이식 결과 공유

7주차: 최종 연구 성과 공유 및 랩 아카이빙

참여 요건

참여요건 - 기본 역량: Python 프로그래밍 능력을 갖추고 최신 AI/로보틱스 오픈소스 코드를 빌드 및 수정할 수 있는 분필수 - 장비: NVIDIA Isaac Sim 구동 및 기본 Teleop(원격 제어) 테스트가 가능한 RTX 그래픽카드 탑재 노트북 또는 데스크톱 PC 소지자 - 협업 태도: 매주 정기 모임에 성실하게 참여하고, 하드웨어 에러나 시뮬레이션 버그를 함께 해결해 나갈 열린 소통 능력을 가지신 분 - 우대 사항 (필수 아님): -- ROS / ROS2 환경에서 로봇 제어 및 시뮬레이션을 다뤄보신 분 -- PyTorch 기반 Deep Learning 모델 학습 및 멀티모달(LLM/Vision) 파인튜닝 경험자 -- 실물 SO-ARM 101 로봇을 보유하고 있거나 관련 하드웨어를 직접 조립해보신 분

사전 질문

[기타] 본 연구 모임에 지원하시게 된 동기와 랩을 통해 이루고 싶거나 배우고 싶은 목표를 알려주세요.

[역량] 로보틱스 관련 프로젝트(ROS, Teleoperation 등)나 AI/멀티모달 모델(LLM, Vision 등)을 다뤄본 경험이 있다면

[환경] 어떤 트랙으로 참여하실 예정인가요? (① SO-ARM 101 실물 로봇 보유 및 활용 / ② 장비 없이 NVIDIA Isaac Sim

[하드웨어] 시뮬레이션 트랙 지원자의 경우, NVIDIA Isaac Sim 구동이 가능한 개인 장비(RTX 탑재 노트북 또는 PC)를 보유하고

[시간] 매주 정기 모임(토요일 오후)에 온/오프라인으로 성실히 참여하고, 주차별 연구 진행 상황을 슬랙에 적극적으로 공유해 주실 수 있나요?

랩장 소개

avatar_img

신태욱

PixelGravity•henry2craftman@gmail.com

안녕하세요! 산업 자동화 제어와 디지털 트윈을 다루며, 동료들과 함께 소프트웨어를 공부하고 가르치는 일을 꾸준히 해오고 있습니다. 포트폴리오를 통해 다양한 물리 시스템과 소프트웨어를 연결하는 작업을 해왔고, 지난 1기 랩에서도 Isaac Sim 기반 가상 환경을 멤버들과 함께 만들었습니다. 이번 2기에서는 "완벽한 모델 연구"보다 "실제 로봇 팔이 1도라도 부드럽게 움직이는 실전 파이프라인"을 함께 만들고 싶습니다. 하드웨어가 낯선 SW 엔지니어, VLA 모델이 낯선 제어 연구자 모두 편안하게 질문하고 실패를 나눌 수 있도록 든든한 가이드이자 먼저 삽질하는 동료가 되겠습니다.