랩 썸네일
LAB
자율지능 로보틱스 LAB
5월 16일 - 9월 19일
14:30 - 16:30
WEEKLYSAT요일
모두의연구소 강남캠퍼스
10

한 줄 소개

로봇이 환경을 탐색하고 기존것을 잊지않고 새로운것을 배우며 현장 적응하는 연구를 합니다.

분야

ENGINEERING

목표 결과물

PAPER, COMPETITION

랩 소개

본 스터디는 FAST-EQA를 중심으로 Embodied Question Answering, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구 방향으로 발전시키는 것을 목표로 합니다. EQA는 로봇이나 embodied agent가 환경을 직접 탐색하면서 질문에 답하는 문제입니다. FAST-EQA는 질문과 관련된 방, 물체, 장면을 효율적으로 찾고, 필요한 시각 정보를 memory에 저장한 뒤 VLM을 이용해 답변하는 방법을 제안합니다. 본 스터디에서는 여기서 한 걸음 더 나아가, 로봇이 왜 정적 모델이 아니라 지속적으로 관찰하고 기억을 갱신해야 하는지, 기존 Continual Learning과 Fine-tuning은 무엇이 다른지, 기존 CL 성능표가 로봇/EQA 관점에서 왜 부족할 수 있는지를 함께 논의합니다. 또한 Engram, Silent Engram, ACT-R, Spacing Effect 같은 뇌과학/인지과학 개념을 바탕으로, 로봇의 visual memory를 언제 저장하고, 언제 다시 확인하고, 언제 reasoning에 사용할지 고민합니다. 최종적으로는 FAST-EQA 기반 후속 연구 아이디어, 실험 설계, 평가 지표를 정의하고 논문(WACV 2027, AAAI 2027, ICLR 2027, CVPR 2027 등)을 쓰는것을 목표로 합니다. 논문 작업에 참여하지않고, 인사이트 공유 및 듣기, 같이 공부하고싶은 사람들도 환영합니다. 아래는 우리 스터디의 기반이 되는 연구입니다. FAST-EQA: https://astronirav.github.io/fasteqa/ View-Batch-Model: https://github.com/hankyul2/ViewBatchModel.git NAVER LABS Europe: Lifelong Learning for Visual Representation

##vlm
##embodiedai
##eqa
##로봇학습
##naverlabs
##지속학습
##인지과학

운영 방식

6주 동안 주 1회 진행하는 논문 읽기 + 토론 + 연구 아이디어 정리 방식으로 운영합니다. 매주 한 가지 주제를 정해 관련 논문 또는 자료를 읽고, 담당자가 핵심 내용을 발표합니다. 발표 후에는 전체 토론을 통해 “이 연구가 왜 필요한지”, “FAST-EQA와 어떻게 연결할 수 있는지”, “실험으로 검증하려면 어떤 지표가 필요한지”를 함께 정리합니다. 예상 주차 구성은 다음과 같습니다. 1주차: EQA와 FAST-EQA 이해 2주차: Fine-tuning과 Continual Learning의 차이 3주차: NAVER LABS Europe과 Lifelong Visual Representation 4주차: Engram, Silent Engram, 기억의 저장과 검색 5주차: ACT-R, Spacing Effect, memory scheduling 6주차: FAST-EQA 기반 후속 연구 아이디어 및 평가 지표 정리 ... .... .... ..... 단순 청강보다는 각자 논문 요약, 질문 정리, 발표, 실험 아이디어 제안 중 하나 이상의 방식으로 참여하는 것을 권장합니다.

커리큘럼

EQA와 FAST-EQA 기본 개념 이해

EQA의 question-conditioned exploration, global/local relevance, bounded memory 분석

Fine-tuning과 Continual Learning의 차이, 기존 지속학습 연구 흐름 정리

NAVER LABS Europe의 Lifelong Visual Representation 관점과 로봇 학습 방향 논의

기존 Continual Learning 성능표와 로봇/EQA 관점의 새로운 평가 지표 비교

Engram, Silent Engram, Storage vs Retrieval Failure 개념 이해

ACT-R Activation Model과 Spacing Effect를 memory scheduling 관점에서 이해

FAST-EQA에 뇌과학/인지과학 기반 memory scheduling을 연결하는 연구 아이디어 설계

최종 연구 제안서, 실험 설계 초안 정리

이후는 추후 스터디를 진행하며 유동적으로...

참여 요건

본 스터디는 FAST-EQA, Embodied Question Answering, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구 아이디어로 발전시키는 것을 목표로 합니다. 관련 분야를 모두 잘 알고 있을 필요는 없습니다. 다만 매주 지정 논문 또는 자료를 읽고, 핵심 내용과 궁금한 점을 정리해 올 수 있는 분을 찾습니다. AI/ML, 컴퓨터비전, 로봇, VLM/LLM, 지속학습, 인지과학/뇌과학 중 하나 이상에 관심이 있으면 참여 가능합니다. Python/PyTorch, 로봇 시뮬레이터, 논문 발표 경험이 있으면 좋지만 필수는 아닙니다. 단순 청강보다는 논문을 읽고 질문하며, “로봇은 왜 정적 모델이 아니라 지속적으로 기억하고 갱신해야 하는가?”를 함께 고민할 분이면 좋겠습니다.

사전 질문

본 스터디에 참여하고 싶은 이유를 적어주세요.

관심 있는 분야를 적어주세요. 예: 컴퓨터비전, 로봇, VLM/LLM, Embodied AI, EQA, 지속학습, 인지과학/뇌과학 등

EQA, 지속학습, Engram, 간격복습 중 알고 있는 개념이 있다면 간단히 적어주세요. 모르면 모른다고 적어도 괜찮습니다.

로봇이 한 번 학습된 고정 모델만으로 실제 환경에서 오래 동작하기 어렵다고 생각하나요? 그렇게 생각한다면 이유를 간단히 적어주세요.

Fine-tuning과 Continual Learning의 차이를 본인의 이해대로 설명해주세요. 정확하지 않아도 괜찮습니다.

기존 지속학습은 주로 accuracy, forgetting 등을 평가합니다. 로봇/EQA 관점에서는 어떤 성능 지표가 추가 필요하다고 생각하나요

기존에 진행했던 프로젝트 1개 이상 간단하게 소개해주세요.

랩장 소개

default_avatar

김은수

kom1577@nate.com

공동 랩장 소개

default_avatar

박동진

qkeehdwls3@gmail.com