Lab Image

##llm
##computervision

CVE LAB

모임 기간

2025.04.02 - 2025.10.01

모임 일시

매주 수요일 11:00 ~ 13:00

장      소

온라인

모집 기간

2025.03.26 - 2025.03.31

모집 인원

3명

선발 방식

사전 질문 기반 심사

랩 소개
운영 방식
참여 요건
랩장 소개

⭐️ 랩 소개

한 줄 소개
Improving TTI Alignment Using Image captioning
분야
ENGINEERING
목표 결과물
PAPER, ETC
우리 모임은 텍스트 기반 이미지 생성 기술에서 사용자의 의도가 시각적으로 얼마나 잘 반영되는지를 고민하며, 그 정합성을 높이기 위한 방법을 연구합니다. 최근 이미지 생성 기술은 눈에 띄게 발전했지만, 여전히 복잡한 문장이나 세부적인 묘사를 정확하게 표현하지 못하는 한계가 존재합니다. 특히, 문장에서 전달하려는 의미와 생성된 이미지 간의 미묘한 불일치가 자연스러움을 해치거나 사용자 만족도를 떨어뜨리는 경우가 많습니다. 이에 우리는 텍스트와 이미지 간의 의미 차이를 자동으로 분석하고, 그 차이를 바탕으로 이미지를 효과적으로 개선할 수 있는 다양한 접근법을 탐구하고 있습니다. 이 과정은 별도의 모델 학습 없이도 정합성과 시각적 완성도를 높이는 데 초점을 맞추고 있으며, 사용자의 개입을 최소화하면서도 직관적이고 효율적인 수정 방식을 실현하는 것을 목표로 합니다. 우리 모임은 텍스트와 이미지 사이의 연결을 더 자연스럽고 정교하게 만들기 위해 함께 아이디어를 나누고 실험하며 성장해 나가고 있습니다.

⭐️ 운영 방식

🧠 무엇을 하나요? 텍스트를 기반으로 이미지를 생성할 때, 사용자의 의도가 얼마나 정확하게 반영되는지를 연구합니다. 최근 이미지 생성 기술이 발전하면서도 여전히 복잡한 문장을 잘 반영하지 못하는 경우가 많습니다. 우리는 텍스트와 이미지 간의 의미 차이를 분석하고, 이를 바탕으로 더 자연스럽고 정확한 이미지가 만들어질 수 있도록 아이디어를 탐구합니다. 🛠 어떻게 운영되나요? 💻 온라인 정기 미팅: 주 2회 진행 ☕ 오프라인 미팅: 필요 시 자유롭게 📚 논문 스터디: 관련 최신 논문을 함께 읽고 토론 💡 아이디어 브레인스토밍: 논문 내용을 바탕으로 자유롭게 아이디어 제안 🧩 연구 주제 선정 및 구체화: 실제 연구로 이어질 수 있도록 팀 프로젝트 진행 🌱 이런 분들과 함께하고 싶어요! AI, 이미지 생성, 논문 읽기, 팀 프로젝트에 관심 있는 분 누구나 환영합니다. 함께 성장하고, 함께 실험하며, 함께 결과를 만들어가요!

⭐️ 커리큘럼

오리엔테이션 및 주제 소개
VLM paper 및 자료조사
VLM 이미지 캡셔닝 SOTA(BLIP-2) review
SOTA(BLIP-2) 코드 리뷰
최근 VLM의 한계 조사
Image와 text alignment 방식 조사 (1)
Image와 text alignment 방식 조사 (2)
alignment task의 limitation찾기
연구 주제 찾기
연구 실행 가능성 조사 및 방법론 조사
논문 작성 및 역할 분담
논문 작성 및 마무리

⭐️ 참여 요건

🧠기본 지식 - 딥러닝, 머신러닝, 텍스트-이미지 생성(TTI)에 대한 기본 이해 - Transformer, Diffusion 모델 등 핵심 개념에 대한 관심 💻 프로그래밍 능력 - Python 활용 가능 - PyTorch, HuggingFace, 이미지 처리 라이브러리 경험자 환영! 📖 논문 읽기 & 이해 - 영문 논문을 읽고 요약하거나 핵심 내용을 파악할 수 있는 능력 - 논문 내용을 팀과 함께 토론할 수 있는 태도 🙋‍♀️ 자기주도성과 책임감 - 주 2회 온라인 미팅에 성실히 참여 - 실험, 브레인스토밍, 과제 수행에 적극적으로 임할 수 있는 자세 🤝 팀워크와 커뮤니케이션 - 자유롭게 의견을 나누고, 피드백에 열려 있는 분 - 함께 성장하고 배우려는 열린 마인드 🌟 우대사항 (있다면 더 좋아요!) - 텍스트-이미지, 캡셔닝, STS, 멀티모달 관련 프로젝트 경험 - 모델 실험, 성능 평가 경험

⭐️ 사전 질문

VLM에 대해 접하고, 사용해본 적이 있으신가요? 본인이 알고있는 VLM에 대해 서술해주세요
CV나 LLM 관련 해본 프로젝트에 대해 설명해주세요.
논문 작성 process를 경험해본 적이 있으신가요? 있으시다면, 자세히 서술해주세요
현재 스터디를 병행할 수 있는 스케줄이신가요? 고정 스케줄을 알려주세요

⭐️ 랩장 소개

default_avatar
이승현
liy357835@naver.com