랩 썸네일
LAB
DR4R (Season 9) LAB
12월 19일 - 5월 31일
10:30 - 12:30
WEEKLYSAT요일
모두의연구소 강남캠퍼스
30명

한 줄 소개

Physical AI Study and Implementation

분야

ENGINEERING

목표 결과물

OPEN_SOURCE, BOOK

랩 소개

DR4R(Deep learning and Reinforcement learning for Real world)은 임베디드 시스템과 인공지능을 융합하여 실물 로봇에서 동작하는 지능형 제어 시스템을 연구하는 공동체입니다. 최신 논문 분석, 실험 설계, 코드 구현, 가상환경 검증, 실물 적용까지 함께 수행하며 현실에 적용 가능한 로봇 제어 AI 기술을 연구합니다. 시즌 9에서는 MicroDuck을 활용하여 실물 로봇과 가상환경에서 기능을 구현하고 검증합니다. 로봇의 구조와 제어 방식을 이해하고, 가상환경에서 학습한 정책을 실물에 적용하면서 동작 차이와 실패 원인을 분석합니다. 직접 코드를 작성하고 실험 결과를 비교하며 안정적인 로봇 동작을 구현할 예정입니다. 주요 주제는 Microbot 기반 강화학습과 LeRobot을 활용한 VLA 및 강화학습의 결합입니다. 강화학습에서는 환경 구성, 보상 설계, 정책 학습을 통해 로봇이 시행착오로 행동을 개선하는 과정을 실습합니다. VLA(Vision-Language-Action)는 영상과 언어 지시를 로봇 행동으로 연결하는 모델입니다. 모방학습으로 습득한 행동을 실제 경험과 강화학습으로 개선하는 방법을 연구합니다. 기초 지식 함양을 위해 직장인 참여자께는 11월 14일부터 12월 5일까지 진행되는 교육과정 이수를 권장합니다. - 로봇 제어 기초 : ROS2 기반 로봇 제어 https://modulabs.co.kr/community/momos/620 - 로봇 프로그래밍 : 강화학습과 HIL-SERL - 로봇 경로 계획 및 최적화 : 모방학습과 ACT - 실제 로봇을 활용한 AI 로봇 피킹 : VLA와 SmolVLA 참여자는 HW 팀, 시뮬 및 응용 팀, 이론 팀으로 협력하며 로봇 구축, 환경 구현, 모델 분석과 실험 결과를 공유합니다. 실물과 가상환경을 연결하고 목표에 따라 행동하며 실행 결과를 확인하는 AI Agent를 구현하여, 학습부터 실물 적용까지 이어지는 연구 역량을 함께 쌓고자 합니다.

#reinforcement_learning,humanoid,vla,physicalai,lerobot,microduck

운영 방식

## DR4R 시즌 9는 기존의 로봇 제어 모델 분석과 구현 경험을 확장하여, 실물 로봇과 가상환경을 연결하는 AI Agent 구현을 목표로 운영합니다. AI Agent는 환경을 인식하고 목표에 따라 행동을 결정하며 실행 결과를 바탕으로 다음 행동을 수행하는 지능형 시스템입니다. MicroDuck을 중심으로 실물과 가상환경에서 기능을 구현하고, LeRobot을 활용하여 VLA와 강화학습을 결합하는 방법을 실습합니다. 연구는 HW 팀, 시뮬 및 응용 팀, 이론 팀으로 나누어 진행합니다. HW 팀은 로봇 조립과 구동, 센서·구동기 연동, 통신 및 제어 인터페이스 구현을 담당합니다. 시뮬 및 응용 팀은 실물에 대응하는 가상환경을 구축하고, 학습·검증 환경과 AI Agent 기반 응용을 구현합니다. 이론 팀은 강화학습, 모방학습, VLA 관련 논문을 분석하고 알고리즘 선정, 보상 설계, 실험 기준 수립과 결과 해석을 담당합니다. 세 팀은 하나의 공동 과제를 중심으로 협력합니다. 이론 팀이 제안한 방법을 가상환경에서 구현하고 검증한 뒤 실물 로봇에 적용하며, 동작 차이와 실패 원인을 분석하여 모델과 환경을 개선합니다. 이를 위해 실물과 가상환경의 제어 명령 및 관측 데이터 형식을 맞추고, 정기적인 통합 실험을 진행합니다. 초기에는 기초 제어와 단일 행동을 구현하고, 이후 목표 이해, 행동 선택, 실행 결과 확인, 실패 시 재시도로 기능을 확장합니다. 시즌 9는 논문 분석부터 모델 구현, 가상환경 검증, 실물 적용, 응용 제작까지 연결하여 실제로 동작하는 AI Agent를 함께 완성하는 연구 공동체로 발전하고자 합니다.

커리큘럼

1~2주 : 오리엔테이션, 연구 주제 및 목적 소개 / 목표 설정 / 연구원 자기소개

3~4주 : Microbot 구현, SW 분석, 모델 분석, agent, vibe coding 환경 구축

2~3개월 차 : VLA 모델 분석 및 실행 평가

4~5개월 차 : 강화학습 분석 및 실행 평가, vibe coding app 구현, agent 기능 구현

6개월 차 : 통합 구현

참여 요건

- 로봇암 제작등 HW에 관심있는 메이커 - 모방학습 실물 구현에 관심있는 디자인, 기구설계 담당자. - 모방학습을 위한 로봇 제어 가능한 펌웨어 개발자. - 모방학습을 시뮬레이터 구현 가능자. - 모방학습에 관심있는 AI 개발자 - 실물기반 Embedded AI 분야에 입문하고자 하는 분

사전 질문

일주일에 한번 프로젝트를 하기 위한 시간을 할당할 수 있습니까? 어느 정도 할당 가능한지 알려주세요.

전문 분야가 무엇입니까? 간단한 포토폴리오가 있으면 보내 주시기 바랍니다.

11월 14일 부터 12월 05일까지 직장인 대상 과정에 참여할 의향있으신가요?(직장인 대상)

랩장 소개

avatar_img

박철

주식회사 코스모다이나믹•e2g1234@naver.com

광운대학교 전자통신공학 (93’) 광운대학원 전자통신 석사(97’) 서울호서전문학교 전임교수(97’) ㈜하이버스 대표이사 ( 04’) ㈜포스트테크 대표이사 (12’) 관심분야 : 임베디드 시스템, 딥러닝, 강화학습, 자율주행