한 줄 소개
로봇이 환경을 탐색하고 기존것을 잊지않고 새로운것을 배우며 현장 적응하는 연구를 합니다.
분야
ENGINEERING
목표 결과물
PAPER, COMPETITION
랩 소개
본 스터디는 FAST-EQA를 중심으로 Embodied Question Answering, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구 방향으로 발전시키는 것을 목표로 합니다. EQA는 로봇이나 embodied agent가 환경을 직접 탐색하면서 질문에 답하는 문제입니다. FAST-EQA는 질문과 관련된 방, 물체, 장면을 효율적으로 찾고, 필요한 시각 정보를 memory에 저장한 뒤 VLM을 이용해 답변하는 방법을 제안합니다. 본 스터디에서는 여기서 한 걸음 더 나아가, 로봇이 왜 정적 모델이 아니라 지속적으로 관찰하고 기억을 갱신해야 하는지, 기존 Continual Learning과 Fine-tuning은 무엇이 다른지, 기존 CL 성능표가 로봇/EQA 관점에서 왜 부족할 수 있는지를 함께 논의합니다. 또한 Engram, Silent Engram, ACT-R, Spacing Effect 같은 뇌과학/인지과학 개념을 바탕으로, 로봇의 visual memory를 언제 저장하고, 언제 다시 확인하고, 언제 reasoning에 사용할지 고민합니다. 최종적으로는 EQA 후속 연구 아이디어, 실험 설계, 평가 지표를 정의하고 논문(WACV 2027, AAAI 2027, ICLR 2027, CVPR 2027 등)을 쓰는것을 목표로 합니다. 논문 작업에 참여하지않고, 인사이트 공유 및 듣기, 같이 공부하고싶은 사람들도 환영합니다. 아래는 우리 스터디의 기반이 되는 연구입니다. FAST-EQA: https://astronirav.github.io/fasteqa/ View-Batch-Model: https://github.com/hankyul2/ViewBatchModel.git
운영 방식
6주 동안 주 1회 진행하는 논문 읽기 + 토론 + 연구 아이디어 정리 방식으로 운영합니다. 매주 한 가지 주제를 정해 관련 논문 또는 자료를 읽고, 담당자가 핵심 내용을 발표합니다. 발표 후에는 전체 토론을 통해 “이 연구가 왜 필요한지”, “FAST-EQA와 어떻게 연결할 수 있는지”, “실험으로 검증하려면 어떤 지표가 필요한지”를 함께 정리합니다. 예상 주차 구성은 다음과 같습니다. 1주차: EQA와 FAST-EQA 이해 2주차: Fine-tuning과 Continual Learning의 차이 3주차: NAVER LABS Europe과 Lifelong Visual Representation 4주차: Engram, Silent Engram, 기억의 저장과 검색 5주차: ACT-R, Spacing Effect, memory scheduling 6주차: FAST-EQA 기반 후속 연구 아이디어 및 평가 지표 정리 ... .... .... ..... 단순 청강보다는 각자 논문 요약, 질문 정리, 발표, 실험 아이디어 제안 중 하나 이상의 방식으로 참여하는 것을 권장합니다.
커리큘럼
EQA와 FAST-EQA 기본 개념 이해
EQA의 question-conditioned exploration, global/local relevance, bounded memory 분석
Fine-tuning과 Continual Learning의 차이, 기존 지속학습 연구 흐름 정리
NAVER LABS Europe의 Lifelong Visual Representation 관점과 로봇 학습 방향 논의
기존 Continual Learning 성능표와 로봇/EQA 관점의 새로운 평가 지표 비교
Engram, Silent Engram, Storage vs Retrieval Failure 개념 이해
ACT-R Activation Model과 Spacing Effect를 memory scheduling 관점에서 이해
FAST-EQA에 뇌과학/인지과학 기반 memory scheduling을 연결하는 연구 아이디어 설계
최종 연구 제안서, 실험 설계 초안 정리
이후는 추후 스터디를 진행하며 유동적으로...
참여 요건
본 스터디는 FAST-EQA, Embodied Question Answering, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구 아이디어로 발전시키는 것을 목표로 합니다. 관련 분야를 모두 잘 알고 있을 필요는 없습니다. 다만 매주 지정 논문 또는 자료를 읽고, 핵심 내용과 궁금한 점을 정리해 올 수 있는 분을 찾습니다. AI/ML, 컴퓨터비전, 로봇, VLM/LLM, 지속학습, 인지과학/뇌과학 중 하나 이상에 관심이 있으면 참여 가능합니다. Python/PyTorch, 로봇 시뮬레이터, 논문 발표 경험이 있으면 좋지만 필수는 아닙니다. 단순 청강보다는 논문을 읽고 질문하며, “로봇은 왜 정적 모델이 아니라 지속적으로 기억하고 갱신해야 하는가?”를 함께 고민할 분이면 좋겠습니다.
사전 질문
본 스터디에 참여하고 싶은 이유를 적어주세요.
관심 있는 분야를 적어주세요. 예: 컴퓨터비전, 로봇, VLM/LLM, Embodied AI, EQA, 지속학습, 인지과학/뇌과학 등
EQA, 지속학습, Engram, 간격복습 중 알고 있는 개념이 있다면 간단히 적어주세요. 모르면 모른다고 적어도 괜찮습니다.
로봇이 한 번 학습된 고정 모델만으로 실제 환경에서 오래 동작하기 어렵다고 생각하나요? 그렇게 생각한다면 이유를 간단히 적어주세요.
Fine-tuning과 Continual Learning의 차이를 본인의 이해대로 설명해주세요. 정확하지 않아도 괜찮습니다.
기존 지속학습은 주로 accuracy, forgetting 등을 평가합니다. 로봇/EQA 관점에서는 어떤 성능 지표가 추가 필요하다고 생각하나요
기존에 진행했던 프로젝트 1개 이상 간단하게 소개해주세요.
랩장 소개
김은수
공동 랩장 소개
박동진
자율지능 로보틱스 LAB
모임 기간
2026.05.16 - 2026.09.19
모임 일시
매주 토요일 14:30 ~ 16:30
장 소
모두의연구소 강남캠퍼스
모집 기간
2026.06.01 - 2026.06.13
모집 인원
12명
선발 방식
사전 질문 기반 심사