한 가정이 한 개 이상의 로봇을 소유하게 되는 퍼스널 로봇 시대를 준비하는 랩입니다.

시즌4 2학기는 LLM Agent와 VLA(Vision Language Action)을 통합하여 보다 복잡한 임무 수행을 가능하도록 하는 연구를 진행합니다. 공통 - LLM Agent 기반 제어, VLA기반 Manipulator 제어 두 개의 팀으로 나눠서 각각 연구를 진행하고, 해당 내용을 매주 각 팀별로 연구 결과를 공유합니다. LLM Agent 팀 - 목표: LLM Agent를 이용하여 사람의 추상적인 명령을 로봇이 실행할 수 있도록 구체적인 임무로 변환 및 실행 - 시즌3에서는 미리 정해진 시나리오를 규칙기반으로 제어를 했습니다. - 이번 시즌은 목표를 예를 들어 설명하면, ‘컵을 정리해줘’와 같은 명령을 입력 받으면 컵을 정리하기위한 전체 시나리오를 수립하고 계별 명령을 실행하면서 최종 적으로 주어진 임무를 완수 하는 것 입니다. Manipulator Action 팀 - 목표: 로봇에 장착된 카메라 정보를 이용해서 세밀한 임무수행 - 시즌3에서는 OpenCV를 활용해서 비전 기반으로 간단한 제어를 적용 하였습니다. - 이번 시즌은 목표를 예를 들어 설명하면, 카메라 정보를 이용해서 컵 손잡이 집기와 같은 보다 정밀한 임무를 수행하기위해 DNN을 적용하는 것 입니다. 위 연구가 완성되면 두 기능을 통합하여 간단한 임무 수행 시나리오 연구를 진행합니다. 논문작성 - 이번 학기 연구 결과가 잘 나오면 내년 3월에는 논문을 작성하여 제출할 수 있도록 할 계획입니다. - 2학기 시작 하면서 부터 논문 초안을 틈틈히 준비 하도록 하겠습니다.

- 끈기를 가지고 끝까지 성실히 완주 할 수 있는 분 - 오픈 마인드로 함께 노력하고 성장해갈 수 있는 분 - 딥러닝과 로봇에 관심이 많으신 분 - 파이썬 등 기본적인 소프트웨어 소양을 갖추신 분 - 매주 최소 8시간 이상 연구활동을 진행하고 공유할 수 있는 분 - 랩 합류 전에 다음 강의를 사전 학습 하고 오실 수 있는 분 (https://www.youtube.com/watch?v=Y4gtuQljLrY&list=PLP4rlEcTzeFIvgNQD8M1T7_PzxO3JNK5Z)