
한 줄 소개
Isaac Sim과 SO-ARM 101을 연결해 실물 로봇을 제어하는 VLA 통합 연구
분야
ENGINEERING
목표 결과물
OPEN_SOURCE, PAPER
랩 소개
"모델을 넘어 실물 로봇 배포까지: Isaac Sim과 SO-ARM 101로 완성하는 VLA 실전 기술 공유방" VLA(Vision-Language-Action) 모델의 이론 연구를 넘어, 실제 로봇 제어 소프트웨어와 하드웨어를 유기적으로 엮어보는 실전 엔지니어링 랩입니다. 1기에서 Isaac Sim 가상 환경 구축과 모델 기초 탐색을 마쳤다면, 이번 2기는 "가상에서 검증된 정책을 실물 SO-ARM 101 로봇 팔에 올려 실제로 움직이게 만드는 End-to-End 파이프라인"을 목표로 합니다. 통신 지연, 기구부 오차, 모델 경량화 등 현실의 제약 조건을 마주하며 겪는 수많은 디버깅 과정을 혼자가 아닌 '함께 고민하는 공유의 힘'으로 풀어갑니다. 단순 단기 속성 스터디가 아닙니다. 하드웨어 트러블슈팅과 제어 루프 통합에 필요한 물리적 시간을 충분히 확보하고, 각자의 전문성과 시행착오를 편안하게 나누며 길게, 그리고 즐겁게 완주하는 문화를 지향합니다. 💡 이런 분들과 함께합니다 - SW/시스템 엔지니어: VLA 추론 결과를 실시간 로봇 제어 명령(ROS2 등)으로 연결하는 파이프라인을 구축하고 싶은 분 - 하드웨어/로보틱스 연구자: SO-ARM 101 기구부 캘리브레이션, 통신 안정화, 모터 제어 최적화에 기여하고 싶은 분 - AI/ML 엔지니어: OpenVLA 등 대형 모델을 경량화/양자화하여 실시간 로봇 제어 루프에 얹어보고 싶은 분 - 디지털 트윈 연구자: Isaac Sim 환경과 실물 간의 Sim-to-Real 간극을 좁히고 센서/액추에이터 동기화를 검증하고 싶은 분 💻 참여 사양 & 자원 지원 - 개인 장비: Isaac Sim 구동 및 로컬 빌드가 가능한 RTX 그래픽카드 탑재 PC/노트북 - 자원 지원: 대규모 모델 학습 및 파인튜닝은 일정량의 모두의연구소GPU 자원과 SO-ARM 테스트 배드를 공유합니다. - 화면 안의 모델을 책상 위 실물 로봇의 움직임으로 구현하며 깊이 있는 인사이트를 나누실 분들을 환영합니다.
운영 방식
본 랩은 일방적인 강의나 과제의 부담 없이, SW와 HW의 접점을 함께 고민하고 시행착오를 편안하게 나누는 '지속 가능한 기술 공유방'으로 운영됩니다. 1. 정기 모임 및 일정 - 일시: 매주 토요일 (주 1회, 2시간 집중) - 장소: 오프라인(모두의연구소 강남) 중심 + 온라인(Zoom/Discord) 병행 - 기간: 총 13주 (약 3개월 시즌제 운영 / 연말 1주 공식 휴회 포함) (※ 하드웨어 변수와 디버깅을 충분히 소화할 수 있도록 긴 호흡으로 갑니다.) 2. 모임 타임라인 (2시간 교류 & 공유 중심) 평일에 바빠서 작업을 못 했더라도, 모임에 참석하는 것만으로 핵심 인사이트를 얻어갈 수 있습니다. [1부] 인사이트 브리핑 & 열린 디버깅 (50분): - 랩원들이 한 주간 테스트한 통합 파이프라인 진행 상황 및 에러 로그 공유 (15분) - 통신 지연, 모델 경량화, 제어 오차 등 까다로운 기술적 고민을 화면에 띄우고 집단 지성으로 해법 논의 (35분) [휴식 및 환담] (10분) [2부] 크로스 도메인 페어링 & 실증 공유 (60분): - SW(모델/시뮬레이션)와 HW(제어/로봇) 연구자가 짝을 이뤄 서로의 지식을 교류하고 코드/설정 조율 (45분) - 준비된 로직을 SO-ARM 101 또는 시뮬레이터에 반영해 동작을 관찰하고 다음 단계 의견 교환 (15분) 3. 오래 함께하기 위한 공유 문화 - 의무감 대신 호기심: 강제 과제는 없습니다. 평일에는 슬랙에 유용한 레포지토리나 에러 로그, 짤막한 질문을 가볍게 나누며 느슨하지만 단단한 유대감을 유지합니다. - 배움의 교환: 하드웨어가 낯선 SW 엔지니어와, VLA 모델이 낯선 HW 엔지니어가 서로의 눈높이에서 막히는 부분을 채워주며 함께 성장합니다. - 자원 활용: 모델 학습은 모두연 GPU 서버를 유연하게 활용하고, 모임 시간에는 서로의 지식과 시스템 통합 경험을 나누는 데 집중합니다.
커리큘럼
1주차 | 오리엔테이션 및 랩 온보딩: 연구 목적 및 SW-HW 통합 로드맵 소개, 참여자 자기소개 및 협업 환경(Slack/GitHub) 셋업
2주차 | 전체 시스템 아키텍처 및 파이프라인 설계: VLA 추론기, ROS2, SO-ARM 101 간 데이터 흐름 정의 및 개발 환경 동기화
3주차 | SO-ARM 101 하드웨어 점검 및 모터 캘리브레이션: 실물 로봇 기구부 점검, 서보 모터 영점 보정 및 Python 시리얼 제어
4주차 | 통신 인터페이스 안정화 및 캐치업: 모터 통신 지연 및 패킷 손실 디버깅, 개인별 개발 환경 점검을 위한 완충 주간
5주차 | Isaac Sim 디지털 트윈 환경 동기화: SO-ARM 101 URDF 임포트 및 가상-실물 로봇 간 관절 각도 매핑·물리 파라미터
6주차 | 원격 제어(Teleop) 및 데이터 수집 파이프라인: LeRobot 기반 원격 조작 인터페이스 연동 및 픽앤플레이스 조작 궤적 데이터
7주차 | VLA 오픈소스 모델 구조 분석 및 추론 셋업: OpenVLA 등 주요 모델 입출력 구조 분석 및 카메라 입력 기반 추론 파이프라인
8주차 | 오픈루프 제어 연동 및 중간 점검: 모델 예측 액션을 ROS2 메시지로 변환해 로봇에 전달하고 가상-실물 제어 오차 점검
9주차 | 모델 경량화 및 저지연 추론 파이프라인 구축: 모델 양자화 및 추론 가속 엔진을 적용해 실시간 제어 루프 지연 시간(Latency)
0주차 | 도메인 특화 태스크 파인튜닝 & Sim-to-Real: 수집된 궤적 데이터를 활용한 VLA 파인튜닝 및 도메인 랜덤화 기반 정책 강건
11주차 | 시각 피드백 기반 클로즈드 루프 제어 실증: 실시간 카메라 피드백 기반 폐루프 제어로 실물 로봇 픽앤플레이스 반복 테스트
12주차 | 최종 데모 시연 및 오픈소스 정리: 통합 레포지토리 문서화(README/가이드), 실물 구동 데모 아카이빙 및 2기 활동 회고
참여 요건
- 기본 역량: Python 프로그래밍 능력을 갖추고, 오픈소스 AI/로보틱스 라이브러리를 직접 빌드 및 트러블슈팅할 수 있는 분 [필수] - 장비: NVIDIA Isaac Sim 구동 및 로컬 빌드 테스트가 가능한 RTX 그래픽카드 탑재 PC 또는 노트북 소지자 [필수] - 협업 태도: 하드웨어 통신 에러나 시뮬레이션 버그를 마주했을 때 회피하지 않고, 본인의 시행착오와 인사이트를 편안하게 공유할 수 있는 분 [필수] - 우대 사항 (필수 아님): - ROS / ROS2 환경에서 노드 간 통신, 패키지 빌드 또는 로봇 제어를 경험해보신 분 - SO-ARM 101, RoArm 등 오픈소스 로봇 암 조립, 서보 모터 제어, 캘리브레이션 유경험자 - PyTorch 기반 딥러닝 모델 파인튜닝 또는 VLA(OpenVLA, Octo 등), LeRobot 경험자 - 실물 SO-ARM 101 하드웨어를 보유하고 있거나 지참이 가능하신 분
사전 질문
주력 분야(AI/로보틱스/HW 등)와 최근 다룬 기술 스택을 적어주세요.
로봇 팔, 서보 모터, 시리얼 통신 제어 경험이 있나요? (실물 보유 여부 포함)
ROS/ROS2 노드 통신이나 패키지 빌드를 다뤄본 경험이 있나요?
Isaac Sim, MuJoCo 등 물리 시뮬레이터를 사용해본 경험을 적어주세요.
VLA(OpenVLA 등)나 멀티모달 오픈소스를 구동/학습해본 적이 있나요?
실물 HW 제어, ROS2 파이프라인, Sim 연동, 모델 경량화 중 관심 분야는?
에러와 시행착오를 편안하게 나누며 오래 즐겁게 완주할 준비가 되셨나요?
랩장 소개

신태욱
안녕하세요! 산업 자동화 제어와 디지털 트윈을 다루며, 동료들과 함께 소프트웨어를 공부하고 가르치는 일을 꾸준히 해오고 있습니다. 포트폴리오를 통해 다양한 물리 시스템과 소프트웨어를 연결하는 작업을 해왔고, 지난 1기 랩에서도 Isaac Sim 기반 가상 환경을 멤버들과 함께 만들었습니다. 이번 2기에서는 "완벽한 모델 연구"보다 "실제 로봇 팔이 1도라도 부드럽게 움직이는 실전 파이프라인"을 함께 만들고 싶습니다. 하드웨어가 낯선 SW 엔지니어, VLA 모델이 낯선 제어 연구자 모두 편안하게 질문하고 실패를 나눌 수 있도록 든든한 가이드이자 먼저 삽질하는 동료가 되겠습니다.
VLA LAB 2기 LAB
모임 기간
2026.10.17 - 2027.01.16
모임 일시
매주 토요일 11:00 ~ 13:00
장 소
모두의연구소 강남캠퍼스
모집 기간
2026.09.23 - 2026.10.07
모집 인원
16명
선발 방식
사전 질문 기반 심사
