안녕하세요. 대한민국에는 왜 Music AI를 연구하는 연구실이 많이 없을까요? 그래서 만들어봤습니다. Music AI를 연구하는 저희만의 연구실, MAAP LAB을요! [랩장 소개] 저는 연세대학교 인공지능학과 석박통합과정에 재학중에 있으며, Audio Generation, Audio Tagging, Music AI, Voice Conversion에 관심이 많은 학생입니다. 저도 잘 모르는 분야이지만, Computer Vision과 Transformer, Diffusion 구조를 통해 Audio 분야에서도 AI의 기초 원리에 입각하여 적용할 수 있음을 믿고, 같이 연구하고자 합니다. [활동 소개] 첫 프로젝트로, 간단한 Music Tagging을 진행해볼 예정입니다. 오픈소스 데이터셋을 확인 후, CLAP과 Beam Search, Stable Audio 등을 이용한 Music Tagging 및 Augmentation을 진행합니다. Dataset 증강 및 제작에 목적을 두어, 앞으로 진행할 프로젝트의 기반이 될 데이터셋을 만들 예정입니다. 소목표는 단어 생성이며, 대목표는 LLM과 연동하여 문장 생성입니다. 두번째 프로젝트는 Dataset을 이용한 Music 생성 및 기존 모델(논문) 탐구 후 성능 향상 모델 개발입니다. Diffusion Model과 DiT(Flux 등)을 통해 생성된 음악을 Finetuning 없이 LoRA나 Adapter 등의 작은 소형 모델로 개발하는 방식을 연구할 계획입니다. 예를 들어, 특정 장르나 특정 악기, 특정한 분야는 데이터셋이 희소하고 적기에 이를 생성할 수 있는 소형 모델을 개발하는 등의 아이디어 논의를 거칠 예정입니다. 프로젝트를 거치면서, 프로젝트 산출물로 학회(ICASSP, ISMIR, AAAI 등) 논문 제출과 오픈소스 공개 등을 진행할 예정입니다. GPU 같은 경우에는 저의 경우, 대학교에서 지원하는 사업을 통해 A100 및 A6000, RTX4090 등을 사용할 수 있습니다.

[운영 기간] 2025년 5월 ~ 2025년 12월 [미팅 방식] 1주일에 한 번은 최소한 온/오프라인 미팅을 가지는 것을 목표로 하고 있습니다. [진행 내용 공유] 첫 프로젝트는 각자 본인이 원하는 데이터셋을 구축하고, 증강하는 방식을 채택하고자 합니다. 데이터셋을 구축하는 과정에서 진행을 위한 방법론을 각자 논문을 통해 연구하고 공유하는 기간을 먼저 가질 예정입니다. (진행 기간 : 2025년 5월 ~ 2025년 6월) 두번째 프로젝트는 여러 데이터셋을 활용하여 다같이 Music 생성형 모델을 하나 제작하고자 합니다. 기본적으로 Finetuning보다는 GPU 사용량이 적은 방법론을 고안하여, 조금이나마 높은 성능을 제안할 수 있도록 합니다. (진행 기간 : 2025년 7월 ~ 2025년 12월) [Github Organization, Github.io, Website 활용] LAB 활동을 꾸준히 이어나가고, 오픈소스에 기여할 수 있도록 서로간의 단합력을 높이고, 브랜딩을 할 필요가 있다고 생각합니다. 활동에 애정을 가지고, 참여가 많아질수록 활동한 경험이 빛날 수 있도록 Github Organization --> Github.io --> 단순한 Website 제작 등으로 기록을 남겨두어 추후에 커리어와 스펙으로 도움이 될 수 있도록 합니다. [논문 작성 및 오픈소스 공개] 모든 활동은 결과물을 산출할 수 있도록 합니다. 결과물은 기본적으로 오픈소스합니다. 논문은 간단하더라도 작성을 목표로 하며, 국내학회부터 국제학회까지 성능과 수준에 따라 작성을 요구합니다. [의지와 애정도] 추가적으로, 본 LAB은 참여가 미비한 연구원이 있을 시에는 탓하지 않고, 다른 연구원들이 그만큼 애정도를 더 가져 참여하길 원합니다. "다른 연구원이 미비한 연구원의 진척도를 채워 연구를 해라"가 아닌, 그만큼 더욱 다양한 음악 활동을 할 수 있겠다는 마음가짐으로 임하면 무엇이든 멋진 결과를 낼 수 있으리라 기대합니다. 물론 미비한 연구원은 패널티 있습니다.

1주차 : 오리엔테이션, 연구 주제 및 모임 목적 소개, 참여자 상호 소개

2~3주차 : 본인이 원하는 데이터셋 탐색 및 소개, 구축 방법론 소개

3~4주차 : 데이터셋 다운로드 혹은 수작업 제작, 구축 방법론 탐구

4~6주차 : 구축 방법론에 의하여 데이터셋 Tagging 및 Augmentation

6~8주차 : 구축된 데이터셋 평가 및 결과 공유

7월 : 생성형 Music 모델 탐구 (기초 원리 및 수식 탐구)

8월 : 생성형 Music 모델의 한계점 탐구 및 보완 방법 고안

9월 : 생성형 Music 모델 보완 방법 발표 및 상호 브레인 스토밍

10월 : 확정된 방법을 바탕으로 방법론 실제 구현 및 모델 Train

11월 : 확정된 모델을 바탕으로 실험 및 Evaluation, Ablation 진행

12월 : 모델 공개 및 논문화, 결과물 산출

[시간적 여유] 본 활동은 간단한 1번째 프로젝트와 챌린지 2번째 프로젝트로 진행됩니다. 기본적으로 일주일에 한 번은 온/오프라인 미팅을 진행해야하며, 이외에도 연구를 위한 시간이 할당될 수 있어야 합니다. [기본 사항] 1. AI에 대한 기초적인 지식이 있어야 합니다. - Attention, Diffusion, Transformer, CLAP, Beam Search, LLM, Instruction Tuning, Finetuning, Data Augmentation, Genre Tagging 등의 키워드가 어떤 원리인지는 몰라도 Input과 Output, 목적을 설명할 수 있는 사람 또는 위의 개념을 공부하고 싶은 사람. 2. LAB에 애정을 가지고, 이 분야에 관심이 커서 꾸준히 진행할 수 있어야 합니다. - 개개인이 각자 맡은 연구 활동에 애정을 가지고 했으면 좋겠습니다. 3. 이상하게 안중요한 부차적인 활동에도 신경을 쓰는 사람. - 필수는 아니지만, 이 LAB을 꾸미던가, 활동을 더 멋지게 표현해내거나, 멋진 경험으로 생각하여 진행할 사람들을 환영합니다. 4. 음악을 사랑하는 사람 - Music AI Assemble People. [다음과 같은 해당사항이 있으면 환영합니다] 1. 표현력이 풍부한 사람 2. 여러 대상을 군집화할 수 있으며, 객관적인 이유를 잘 찾아낼 수 있는 사람 3. 음악적 지식이 풍부한 사람 4. 아이디어가 풍부한 사람 5. 대학원생 및 연구원, 대학생

지원 동기는 무엇인지, 이 랩에 어떤 것을 기대하는지 알려주세요.

AI 연구 혹은 AI 모델을 활용한 서비스 개발 경험이 있으시면 알려주세요.

본 연구 참여를 위해 주당 연구/개발 가능하신 시간을 알려주세요.

음악 관련한 활동 및 특별한 경험을 알려주세요. 좋아하는 가수와 음악도 좋습니다.

연구에 사용 가능한 gpu 자원이 있으시다면 알려주세요.

연락 가능한 Email 혹은 전화번호 알려주세요.