Lab Image

#agent
#voiceconversationalagent

Voice Conversational Agent LAB / VCA LAB

모임 기간

2024.12.02 - 2025.06.30

모임 일시

매주 수요일 20:00 ~ 22:00

장      소

온라인

모집 기간

2025.03.12 - 2025.03.31

모집 인원

20명

선발 방식

사전 질문 기반 심사 + 온라인 커피챗

랩 소개
운영 방식
참여 요건
랩장 소개

⭐️ 랩 소개

한 줄 소개
음성 대화형 챗봇을 연구하며 구어체 답변 생성과 실시간 통신 기술을 연구 개발
분야
ENGINEERING
목표 결과물
OPEN_SOURCE, ETC
[시즌2 추가 모집 중입니다!!] OpenAI의 advanced voice mode 써보셨나요? 앞으로는 AI와 음성으로 대화할 일이 많아질 것 같은데요, VCA LAB에서는 음성으로 대화하는 챗봇을 연구합니다! 음성 대화형 챗봇은 다양한 AI 기술이 결합된 시스템입니다. • STT (Speech-to-Text)를 이용해 사용자의 음성을 텍스트로 변환하고, • LLM (Large Language Model)을 통해 사용자의 입력 대화나 질문으로부터 답변을 생성하고, • TTS (Text-to-Speech): LLM모델이 생성한 답변을 음성으로 다시 변환하여 사용자에게 전달합니다. 이 과정에서 AI와 자연스러운 대화를 실현하려면 몇 가지 추가 기술이 필요합니다. • 실시간 통신 기술: Latency를 줄이기 위한 WebSocket, WebRTC 등 • Interruptible 대화 지원: Voice Activity Detection (VAD)로 대화 중단을 감지해 자연스럽게 반응할 수 있도록 시즌 1에서는 음성 기반 챗봇의 기초적인 구현을 마쳤습니다. (시즌 1 연구 내용 링크 https://www.notion.so/modulabs/VCA-LAB-bbdf519129aa475cbdf3fb64ea18d3b1) 이제 시즌 2에서는 완성도를 높이고 실전 적용을 목표로 합니다. • 더 자연스러운 대화 품질 개선 • LLM + RAG(정보 검색) 통합 강화 • 실제 사용자 경험을 고려한 음성 인터페이스 최적화 • 모두의 연구소를 소개하는 음성 대화형 챗봇 프로토타입 제작 이런 분들에게 추천합니다! ✔ 음성 대화형 챗봇에 관심 있으신 분 ✔ AI 모델을 활용한 서비스 개발에 도전하고 싶은 분 ✔ 연구 중심보다는 실제 구현과 개발 경험을 쌓고 싶은 분 👉 관심 있는 분들은 지금 신청하세요! 음성 AI 기술과 서비스 개발을 함께 연구하고 싶은 분들을 기다립니다. 🚀

⭐️ 운영 방식

모두의 연구소에 대해서 소개하고 답변하는 음성 대화형 챗봇을 만들어서 오픈소스 혹은 튜토리얼로 공개하는 것을 목표로 운영됩니다. 📌 미팅 일정: 매주 수요일 밤 온라인 진행 (22시~23시) 📌 진행 방식: • 매주 연구 및 구현할 주제를 정하고, 각자 연구 및 개발 • 연구 내용을 발표 및 공유하며 개선 방향 논의

⭐️ 커리큘럼

1~4주차: 자연스러운 대화 품질 개선
5~6주차: LLM+RAG (정보검색) 통합 강화
7~9주차: 실제 사용자 경험을 고려한 음성 인터페이스 최적화
10~12주차: 모두의 연구소를 소개하는 음성 대화형 챗봇 프로토타입 제작

⭐️ 참여 요건

- 이번 연구를 위한 시간을 충분히 내실 수 있으신 분 - STT, LLM, TTS와 관련된 연구 혹은 서비스 경험이 있으신 분 - Web socket, WebRTC와 같은 실시간 통신 서비스 구현 경험이 있으신 분 (AI에 대해서 잘 모르시더라도 환영합니다!) - 관련 분야에 대한 지식과 경험은 부족해도 열정 있으신 분도 환영입니다!

⭐️ 사전 질문

지원 동기는 무엇인지, 이 랩에 어떤 것을 기대하는지 알려주세요.
AI 연구 혹은 AI 모델을 활용한 서비스 개발 경험이 있으시면 알려주세요.
본 연구 참여를 위해 주당 연구/개발 가능하신 시간을 알려주세요.
연구에 사용 가능한 gpu 자원이 있으시다면 알려주세요.
연락 가능한 email 알려주세요.

⭐️ 랩장 소개

avatar_img
김영인
플루언트 · uvento06@hanmail.net
안녕하세요. 플루언트라는 스타트업에서 AI 연구를 하고 있는 김영인입니다. Any Time, Any Place, Face and Live With AI 라는 슬로건을 바탕으로 3D 아바타의 모션을 생성하는 AI 모델을 개발하고 있습니다. 문자를 기반으로 의사소통하는 지금의 LLM을 3D 아바타와 직접 말로 대화를 주고받을 수 있도록 Speech to Human Motion 연구를 하고 있습니다. 음성합성에도 니즈가 있어서 틈틈이 연구를 하고 있습니다.