반려로봇랩은 모든 가정이 로봇과 함께 살아가는 '퍼스널 로봇 시대'를 준비하는 랩입니다.

시즌5는 시즌4의 결과물인 로봇에 딥러닝을 적용하여 보다 복잡한 임무 수행을 가능하도록 하는 연구를 진행합니다. 본인의 관심사에 맞춰 아래 주제 중 1~2개를 선택해 연구를 수행하며, 매주 진행 상황을 공유하고 피드백을 주고받습니다. - Semantic 3D Mapping: 환경을 단순히 점(Point)으로 보는 것을 넘어, 물체의 종류(Label)와 위치 정보가 포함된 의미론적 3D 지도를 작성합니다. - 6D Grasp Pose Detection: 비정형 물체를 포함한 다양한 사물의 형상(Point Cloud)을 분석하여, 로봇이 잡을 수 있는 최적의 위치와 각도를 산출합니다. - Dual-arm Motion Planning: 양팔이 서로 충돌하지 않으면서 협력하여 작업을 수행(예: 왼손으로 잡고 오른손으로 조작)할 수 있는 최적의 경로를 생성합니다. - Visual Servoing: 목표물 접근의 마지막 단계에서 카메라 피드백을 실시간으로 반영하여 오차를 보정하는 정밀 제어를 구현합니다. - LLM/VLM 기반 Task Planning: 추상적인 자연어 명령(예: "식탁 치워줘")을 로봇이 실행 가능한 단위 행동(Primitive Action) 시퀀스로 분해하고 계획합니다. - Closed-loop Feedback Loop: 행동을 한 번 하고 끝내는 것이 아니라, 수행 결과를 시각적으로 확인(VLM)하고 성공/실패를 판단하여 계획을 수정하는 순환 구조를 만듭니다. - Context-aware Error Recovery: 물건을 떨어뜨리거나 이동이 막히는 등 실패 상황 발생 시, 처음부터 다시 하는 비효율을 막고 현재 상황에 맞는 복구 명령을 생성합니다. ※ 비고: 위 두 연구는 시즌 4의 성과(LLM 기반 제어 프레임워크)를 기반으로 동시에 진행되며, 시뮬레이션 환경에서의 완벽한 통합을 목표로 합니다.

- 끈기를 가지고 끝까지 성실히 완주 할 수 있는 분 - 오픈 마인드로 함께 노력하고 성장해갈 수 있는 분 - 딥러닝과 로봇에 관심이 많으신 분 - 파이썬 등 기본적인 소프트웨어 소양을 갖추신 분 - 매주 최소 8시간 이상 연구활동을 진행하고 공유할 수 있는 분 - 랩 시작 전에 아래 경희대 김동한 교수님 강의를 모두 완강하고 이해하고 오실 수 있는 분 (https://www.youtube.com/watch?v=Y4gtuQljLrY&list=PLP4rlEcTzeFIvgNQD8M1T7_PzxO3JNK5Z)