한 줄 소개
로봇이 환경을 탐색하고 기존것을 잊지않고 새로운것을 배우며 현장 적응하는 연구를 합니다.
분야
ENGINEERING
목표 결과물
PAPER, COMPETITION
랩 소개
본 스터디는 FAST-EQA(Zhang et al., 2026)를 중심으로 EQA, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구로 발전시킵니다. FAST-EQA는 질문에 관련된 방·목표만 효율적으로 탐색해 bounded memory에 담고 VLM으로 답하는 빠른 EQA 방법입니다. 그러나 기존 EQA는 에피소드마다 기억을 잃어, 같은 공간을 다시 와도 처음부터 탐색합니다. 실제 로봇은 같은 공간을 반복해 마주하고 그 사이 물건과 조명이 바뀌는데도 말이죠. 그래서 묻습니다 — 로봇은 왜 지속적으로 관찰하며 기억을 갱신해야 하는가? 이는 continual learning 문제지만, 기존 연구는 대부분 분류 벤치마크에 머물러(Parisi et al., 2019) "무엇을 언제 저장·재확인·인출할지"라는, 로봇에게 정작 필요한 질문엔 답하지 못합니다. 우리는 그 답이 뇌에 있다고 믿습니다. 기억은 희소하게 할당되고, 잊힌 듯해도 단서가 오면 되살아나며, 시간이 지나며 요지로 응고됩니다(engram·silent engram; Josselyn & Tonegawa, 2020). 또 활성화에 따라 최적의 재학습 간격이 존재하며(spacing; Pavlik & Anderson, 2005), 이 원리는 신경망 지속학습에서도 효과가 확인됐습니다(Kang et al., 2025). 그래서 우리는 FAST-EQA를, visual memory를 적응적으로 저장·재확인·인출하는 지속 메모리로 확장합니다. 핵심은 한 문장 — 무한히 쌓는 게 아니라, 잘 잊고 잘 다지는 것이 평생학습을 가능하게 한다. 메모리는 다른 과제로도 전이되게 일반적으로 설계하고, EQA는 첫 검증 무대로 삼습니다. 목표는 후속 연구·실험 설계·평가 지표를 논문으로 정리하는 것입니다. 직접 논문 작업에 참여하지 않아도, 함께 공부하고 싶은 분도 환영합니다.
운영 방식
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⢀⣠⠤⠤⠤⠤⣄⠀⠀⠀⠀⠀⠀⢀⣀⡀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⣶⡊⠉⠉⣉⣱⡷⠶⢢⣠⢴⣶⡝⠒⠉⢉⣭⡽⠟⢉⣀⡀⠹⢭⠒⢤⣀⣀⡀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⢀⡠⠔⢚⣩⡽⠿⠊⢉⣉⡂⣀⣩⠭⢴⠟⠋⠉⠉⠉⠛⠳⢦⣬⣤⡴⠞⠛⠁⠛⠳⣾⣧⠀⠟⠀⠉⠲⢄⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⡠⢚⠁⠀⠰⠋⢡⠄⠀⠞⣫⢟⡥⠒⠉⠹⣿⡀⠀⠀⢦⡀⠀⠀⠀⠈⠻⡧⡀⠀⠀⠀⠀⠈⠻⣗⡶⠶⠶⢤⡀⠱⣄⡀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⢮⣤⡾⠀⠀⣠⡴⠋⠀⡠⣚⠥⠒⢛⡲⠄⠀⠈⢻⡆⠀⠀⠻⣦⣀⠀⠀⠀⣿⠻⣦⣀⣴⠶⠂⠀⠘⣷⡄⠀⠀⢀⣴⡿⠈⠢⡀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⡠⠖⣉⣁⡀⠀⢀⣾⠋⠴⢿⣽⠋⠀⠞⢉⣉⣽⣳⣄⣀⠀⠋⠀⠀⠀⠈⠙⣷⡄⠀⠁⠀⠙⢤⣯⡀⠀⠀⠀⣼⡇⠀⡾⠋⠁⠀⠳⣄⠘⢆⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⡰⠋⠰⠛⢻⡞⢉⣠⣼⡇⢀⣴⠟⠛⠒⣴⠟⠋⠉⠀⠀⢀⣀⣀⡀⠀⠀⠀⠀⠀⣸⡇⠀⠀⠳⣄⠀⠉⢿⣄⠀⢰⣿⣧⡀⠀⣴⠶⠶⣦⡼⢧⠈⢣⠀⠀⠀⠀ ⠀⠀⠀⢀⡞⣡⣶⡄⠀⡟⣳⠿⠋⠙⡍⡽⠁⣀⣤⣤⣿⡄⠀⠀⠀⠀⡿⡉⣀⣀⣤⣤⣤⣴⠾⠥⠽⣦⣄⠀⠉⠻⢶⡼⢻⠀⠈⠇⠘⡷⡄⠘⠂⠀⢀⡍⠻⣷⣄⡇⠀⠀⠀ ⠀⠀⠀⠘⣺⠏⢸⢃⣼⠟⢁⡤⠀⣠⢟⡷⠟⢋⣉⣤⡿⠇⠀⠀⠀⢰⣣⠞⠋⠉⠉⠁⡀⠀⠀⠀⠀⠀⠙⢷⣄⠀⠀⢹⣾⠀⠀⠀⠀⢸⡇⠀⣀⡀⣾⠀⠀⠈⢻⡁⢦⠀⠀ ⠀⠀⣠⢚⣵⣄⠈⣼⡇⠀⢸⠧⢞⡵⠋⠠⠚⠉⠉⠀⠀⢀⡇⠀⣰⣟⣁⣀⠀⠀⠀⠀⠉⠒⠶⣤⣤⣀⠀⠀⠙⠀⠀⢸⡇⢰⣟⠛⢶⡋⣇⠀⠉⠻⡟⡄⠀⢀⢀⣿⠀⢧⠀ ⠀⣰⠃⢸⠁⣿⠀⠸⣧⠀⢸⢣⠋⠀⣠⣤⠶⢶⢒⣤⣔⣻⠣⢼⠟⠁⠀⠙⢷⡄⠀⠀⢀⠀⠀⠀⠈⠓⢟⢦⠀⠀⠀⢸⡇⠈⠻⣦⡀⠈⠻⣷⣄⠀⠘⣿⠀⠸⣿⣇⣀⢸⠀ ⠀⡇⠀⠀⣼⠇⠀⢀⣿⠀⣇⣇⣴⠟⠋⢠⣾⠟⠉⠀⠀⠈⠳⣼⠀⠀⠀⠀⠀⠳⠀⠀⠈⢳⣄⠀⠀⠀⢸⣼⠀⠀⠀⠈⡟⢆⠀⠈⢻⡀⠀⠈⢻⣆⠀⣻⠃⠀⠀⢹⡟⠻⡀ ⠀⢧⡆⣼⠏⠀⣾⠟⠁⢰⠃⡵⠃⢀⣴⡿⠁⠀⡀⠀⠀⠀⠀⠹⣧⡀⠰⣦⡀⠀⠀⠀⠀⠀⣻⢦⣀⣠⡾⣇⠀⠀⢀⣰⠟⠙⢷⣄⠀⠀⠀⠀⠀⣿⠀⠉⢠⠄⠀⣼⡇⠀⢧ ⢀⠞⢡⡟⠀⠀⣿⠀⢀⡏⡼⠁⣴⠟⠁⠀⠀⠀⣿⠀⣀⣀⢀⣴⠘⣷⡀⠈⢻⣦⣀⠀⢀⣾⠟⠉⠀⠀⠉⠻⣷⣄⠀⠀⠀⠀⠀⠙⢷⡄⠀⠀⠀⠉⠀⣠⡟⠀⣼⣟⠀⠀⢸ ⢸⠀⠘⣧⠀⡴⠛⠳⢸⢰⠁⢰⠏⠀⠀⠀⢀⣼⡯⠟⠋⠙⠻⣷⡀⠘⠀⠀⠀⠈⠉⠻⣿⠁⠀⠀⢰⡟⠉⠀⠈⢻⣦⠀⠀⠀⣄⠀⠀⡗⠀⢸⡇⣠⣾⠟⢀⣾⠋⠹⣷⢀⡇ ⠈⢆⠀⠹⢷⣤⣀⣠⠎⡇⠀⠸⠀⠀⢀⣴⠟⠉⠀⠀⠀⢄⠀⠹⣧⡀⠀⠀⣀⡀⠀⠀⣿⠀⠀⠀⠘⣿⡄⠀
커리큘럼
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀
EQA의 question-conditioned exploration, global/local relevance, bounded memory 분석
Fine-tuning과 Continual Learning의 차이, 기존 지속학습 연구 흐름 정리
NAVER LABS Europe의 Lifelong Visual Representation 관점과 로봇 학습 방향 논의
기존 Continual Learning 성능표와 로봇/EQA 관점의 새로운 평가 지표 비교
Engram, Silent Engram, Storage vs Retrieval Failure 개념 이해
ACT-R Activation Model과 Spacing Effect를 memory scheduling 관점에서 이해
FAST-EQA에 뇌과학/인지과학 기반 memory scheduling을 연결하는 연구 아이디어 설계
최종 연구 제안서, 실험 설계 초안 정리
이후는 추후 스터디를 진행하며 유동적으로...
참여 요건
본 스터디는 FAST-EQA, Embodied Question Answering, Continual/Lifelong Learning, Neuroscience-inspired Memory를 함께 공부하고 연구 아이디어로 발전시키는 것을 목표로 합니다. 관련 분야를 모두 잘 알고 있을 필요는 없습니다. 다만 매주 지정 논문 또는 자료를 읽고, 핵심 내용과 궁금한 점을 정리해 올 수 있는 분을 찾습니다. AI/ML, 컴퓨터비전, 로봇, VLM/LLM, 지속학습, 인지과학/뇌과학 중 하나 이상에 관심이 있으면 참여 가능합니다. Python/PyTorch, 로봇 시뮬레이터, 논문 발표 경험이 있으면 좋지만 필수는 아닙니다. 단순 청강보다는 논문을 읽고 질문하며, “로봇은 왜 정적 모델이 아니라 지속적으로 기억하고 갱신해야 하는가?”를 함께 고민할 분이면 좋겠습니다.
사전 질문
본 스터디에 참여하고 싶은 이유를 적어주세요.
관심 있는 분야를 적어주세요. 예: 컴퓨터비전, 로봇, VLM/LLM, Embodied AI, EQA, 지속학습, 인지과학/뇌과학 등
EQA, 지속학습, Engram, 간격복습 중 알고 있는 개념이 있다면 간단히 적어주세요. 모르면 모른다고 적어도 괜찮습니다.
로봇이 한 번 학습된 고정 모델만으로 실제 환경에서 오래 동작하기 어렵다고 생각하나요? 그렇게 생각한다면 이유를 간단히 적어주세요.
Fine-tuning과 Continual Learning의 차이를 본인의 이해대로 설명해주세요. 정확하지 않아도 괜찮습니다.
기존 지속학습은 주로 accuracy, forgetting 등을 평가합니다. 로봇/EQA 관점에서는 어떤 성능 지표가 추가 필요하다고 생각하나요
기존에 진행했던 프로젝트 1개 이상 간단하게 소개해주세요.
랩장 소개
김은수
공동 랩장 소개
박동진
자율지능 로보틱스 LAB
모임 기간
2026.05.16 - 2026.09.19
모임 일시
매주 토요일 14:30 ~ 16:30
장 소
모두의연구소 강남캠퍼스
모집 기간
2026.06.01 - 2026.06.13
모집 인원
12명
선발 방식
사전 질문 기반 심사