ICLR Workshop 논문 억셉된 아이펠 그루들에게 묻는다!
이번 아이펠 온라인캠퍼스 5기 그루들이 ICLR Workshop 논문에 게제 승인되었습니다. 이분들의 연구 열정은 정말 대단했으며 특히 아이펠캠퍼스에 대해서 좋은 평가를 해주셨습니다. KDT부트캠프로써 첫 해외논문 게재내용 궁금하지 않으신가요?
아이펠 그루 인터뷰 내용
1. 자기소개 부탁드립니다!
황인준) 안녕하세요 저는 AI에 관심이 많아서 물리학을 탈출한 물리학 석사출신 황인준입니다.
저는 아까도 이야기했듯이 AI에 흥미가 있어 아이펠 캠퍼스에 들어왔고 아이펠에서 좋은 분들 만나서 현재 연구 진행중에 있습니다.
이번 연구는 이전에 대학원때와 달리 내가 하고싶은 연구를 하고 있고 자유롭게 연구하는 환경이 좋아서 계속 진행중에 있습니다.
박혜원) 안녕하세요 저는 현재 대학교를 졸업했고 지금은 서울대학교 데이터사이언스대학원에서 조요한 교수님 랩실에서 인턴을 하고 있고 대학원 진학을 준비중에 있습니다.
이번 논문의 경우에는 학교 소속없이 논문을 쓰는 기회가 생겼고 이 경험이 생소해서 좋았습니다.
양주영) 안녕하세요 저는 동물생명공학을 전공한 양주영입니다.
저랑 친한 동기인 오근철님이 아이펠을 추천해줬어요! 지금은 아이펠 온라인 5기에서 공부하다가 멋진 분들과 함께 연구하고 있습니다.
(오근철님은 아이펠을 졸업했으며 2023년 상반기까지 퍼실로 활약하신 그루입니다)
맹선재) 안녕하세요 저도 사실… 주영님처럼 근철님이 추천해서 아이펠에 등록하게 되었습니다.
인준님과는 아이펠톤 이전에 DLThon일때 인준님과 같이 진행했는데 이때 인준님의 리더십과 인사이트에 감명을 받아서 일단 따라가보면 뭐라도 얻겠다싶어서 논문까지 진행하게 되었습니다.
2. 어떻게 이 멤버로 모여서 연구를 시작하게 되셨나요?
인준) 사실… 저는 결론부터 말씀드리면 아이펠톤때 포기하려고 했었습니다..
이 연구 주제를 생각한 계기는 아이펠 캠퍼스에서 논문을 읽으면서 LoRA 기법을 알게 되었습니다.
LoRA를 이용해서 프로젝트를 하고 싶었는데 다들 기업 프로젝트 주제에 관심이 있어서 사람들이 관심없으면 바로 안해야겠다 생각했습니다.
근데 혜원님이 적극적으로 의사표현해주셨고 주영님과 선재님도 오셔서 바로 팀빌딩이 완성되었습니다.
이러다보니까 결과가 안좋게 끝나면 안될것 같아서 책임감있게 프로젝트를 진행하게 되었습니다.
3. 연구 주제를 선정하게 된 계기와 연구의 목적에 대해 설명해주세요.
인준) 제가 물리학을 공부했어서 LoRA에서 원 모델을 바꾸지 않고 추가하는 방식은 익숙한데.. 웨이트마저 freeze시키는 것은 되게 부자연스럽다고 생각했습니다.
그래서 LoRA를 결합하면서 모델을 압축하는 방식에 대한 발상을 했습니다.
이후에 모두의연구소에서 LAB을 진행했을 때 패컬티로 이영완님께서 “듣도 보도 못한 좋은 발상!”이라는 피드백을 들어서 좋았습니다.
혜원) 처음에 인준님한테 연구 주제를 들었을때 Low Rank를 확장시켜서 모델 전체를 줄이는 것이 가능하다고 생각했습니다.
그러나 스칼라값으로 weight를 줄이는 것이 가능할지 의문이었습니다.
근데 실험을 진행하다보니까 이 아이디어가 가능하겠다라는 것을 믿게되었습니다.
선재) 저는 사실 아이펠톤까지는 토이프로젝트로 진행했는데.. 이걸 스케일을 더 키워서 진행했을때 잘 될까 걱정이었습니다.
그런데 Ablation study를 촘촘하게 진행하고 실험이 성공적으로 진행될때 내적 확신이 생겼습니다!
주영) 사실 연구 성과가 명확하게 보여서 성공하겠다는 확신을 임했다기보다 다른 사람들과 같이 연구하면서 얻는 인사이트를 알고 싶어서 진행하게 되었습니다.
물론 주제 자체가 쉽지 않은 딥러닝 분야다보니까 이해하는데 시간이 걸렸지만 해당 내용에 대해 깊이 알게 되어서 좋았습니다!
인준님과 인터뷰 사진
4. 해외 유명 학술지에 논문이 게재되기까지 어떤 과정을 거쳤나요?
인준) 사실 논문을 쓰자는 아이디어는 아이펠톤 시작할때부터 다른 분들을 꼬득였습니다.
논문쓰기 힘든건 알고 있었지만 논문이 잘되면 대학원이든 회사든 전부 자유이용권이 된다!라고 약(?)을 팔았습니다.
그리고 아이펠이 끝난 이후에도 쉬는 텀 없이 오전 10시부터 5시까지 매일 모여서 연구를 진행했습니다.
그리고 모두의연구소 LAB 패컬티분이랑 빨리 매칭되어서 아이펠톤과 비슷한 템포로 가져가고 싶었습니다.
5. 연구를 진행하면서 예상치 못한 변수나 난관에 부딪혔을 때 어떻게 대처했나요?
인준) 사실 아무래도 저희가 연구실이나 회사 소속이 아니다보니까 GPU 자원이 부족해서 사비로 진행을 했습니다.
이런 난관에 빠지니까 다양한 사설 서버를 알아보고 비교하는 방법을 알게되었습니다.
그리고 데이터셋을 조금 더 키워서 진행하는 부분에서 성능이 확 꺾이고 생성형 모델에서 아직 난관이 있어서 이 부분을 해결하고 있습니다.
주영) 시간을 투자하는 것만큼 성능이 비례되지 않은 점이 너무 힘들었습니다.
어떤 부분은 투자를 많이 했는데.. 제대로 나오지 않다가 갑자기 훅 좋아지는 경우가 있었습니다.
그래서 이런걸 경험하니 결과가 잘 안나올 때도 기다릴 수 있게 된것 같습니다.
혜원) 주영님이 별명이 양디비 (설명 : 양주영 + W&B를 의미하며 주영님이 미세한 파라미터 튜닝을 많이 진행했다)일만큼 파라미터 서칭을 계속 진행했는데
이 부분이 사실 딥러닝 실험을 진행할때 결코 쉽지 않은 파트인데 너무 훌륭하게 해주셨고 그 노력이 좋은 성과로 이어졌다 생각합니다.
6. 이번 연구를 통해 새롭게 발견한 사실이나 깨달은 점이 있다면 무엇인가요?
선재) 솔직히… 연구의 길을 가는건 정말 어렵다고 생각했습니다. 특히 수학적 지식이 있는 사람들과의 경쟁이 생각보다 어렵겠다는 생각이 들었습니다.
그리고 하루가 다르게 늘어나는 새로운 소식들과 그것을 확인해도 알아야 하는 기반 지식까지 알아야 하는게 부담이었습니다.
그러나 적어도 도전하는 사람에게 있어서 각오해야 하는 부분이라 생각합니다!
7. 연구를 진행하면서 가장 기억에 남는 에피소드가 있다면 말씀해주세요.
선재) 스칼라가 고정된 값인데 이걸 서서히 줄여나가는 방법을 다른 분들과 논의하다가 결국 실험을 하게 되었습니다.
이때 다양한 함수를 사용했는데 인준님은 sin함수가 이론적으로 제일 좋을것 같긴한데 한번 실험해보자였습니다.
근데 이때 저는 cos으로 실험을 진행했는데 결과가 너무 좋게 나와서 당황했습니다.
그래서 다양한 시도를 하는데 뭔가 이상해서 찾아봤더니 선내 코드에서는 sin함수로 작동했던 것었습니다.
이때 잘못된 태그가 인사이트를 이상한 쪽으로 흐를 수 있겠다는 생각이 들어 더더욱 메모에 집중하게 되었습니다.
C-LoRA (Compression Low Rank Adaptation) | 아이펠 온라인 5기 아이펠톤
본 영상은 AI학교 아이펠의 해커톤 프로젝트 결과 영상입니다. 아이펠은 6개월 풀타임으로 함께 공유하며 성장하는 AI학교입니다. 팀명 : 3L 팀장 : 황인준 팀원 : 양주영, 맹선재, 박혜원 #모두의연구소 #AI학교 #아이펠 #딥러닝연구 부트캠프와 다른 생각에서 시작한 AI 교육, 모두의연구소 ‘AI학교 아이펠’ 👉 무료 입학하기 : https://bit.ly/49E7iRN
8. 이영완 패컬티의 지도방식이나 조언 중 특별히 도움이 된 부분이 있을까요?
주영) 영완님은 존재 자체가 감사한 분이시다.
일단 영완님은 처음 이 주제를 듣고 바로 이해하고 논문으로 작성하면 좋을것 같다라는 코멘트를 남겼는데 이게 확실히 경험이 많은 분이시라는 생각이 들었습니다.
인준) 영완님의 경우 기존에 하셨던 연구주제가 비슷한 면이 있었서 빠르게 이해했고 멘토링할때마다 그쪽에서의 트렌디한 방법론을 제시해주셨습니다.
그리고 학회 일정 관리도 해주시고.. 우리 멘탈 관리도 책임지셨습니다 ㅎㅎ
9. 연구팀내에서 팀워크를 유지하기 위해 어떤 노력을 했나요
인준) 아이펠에서 공부하듯 오전 10시부터 6시까지 매일매일 모여서 진행했습니다.
그리고 매주 화요일마다 오프라인으로 나왔는데 그건 혜원님 아이디어였습니다.
혜원) 온라인으로만 진행하면, 집중이 안되기도 하고 분명히 늘어질거라는 생각이 들었어요.
그래서 매주 화요일에 모두의연구소에 나와서 같이 공부하자라고 했고 효과만점이었다고 생각합니다. (다른 분들도 모두 동의했습니다.)
10. 해외 유명 학술지에 논문이 게재된 소감과 앞으로의 포부를 말씀해 주세요.
인준, 혜원) 사실 이번 ICLR Workshop은 우리 논문의 중간다리정도라고 생각합니다.
우리의 목표는 현재 메인페이퍼로 가는 것이기에 지금도 매일 만나서 실험을 계속 진행하고 있습니다.
11. 이번 연구 경험이 앞으로의 연구 방향이나 진로에 어떤 영향을 미칠 것 같나요?
주영) 저는 이번 연구를 진행하면서 문제가 발생했을때 공식 도큐먼트를 많이 참고하게 되었고..
이번 연구가 제 분야에도 영향을 미칠것 같습니다. 저는 현재 축산업쪽에서 일하고 있는데 추후에는 축산업과 연구를 결합한 업무를 하는걸 원합니다.
선재) 이번 기회를 통해 Ablation Study가 정말 중요하다는걸 알게 되었고 연구를 깊게하는 방식에 대해서도 알게 되었습니다.
저도 혜원님처럼 대학원쪽을 생각하고 있지만.. 수많은 능력자들과의 전쟁이기에 단단히 준비해야겠다는 생각이 들었습니다.
12. 아이펠 후배 그루들에게 해주고 싶은 조언이 있다면 무엇인가요?
인준) 후배님들..아이펠 과정을 정말 열심히 참여했으면 좋겠습니다.
그때 했던 공부가 현재 연구에 정말 많은 도움이 됐습니다. 특히 초반부 Exploration 파트는 내가떨어지지 않기 위해서 이악물고 진행했습니다.
거기다가 Exploration 때 처음 본 트랜스포머는 무조건 내 머릿속에 담고 나가겠다라는 마음으로 공부했습니다.
여러분들도 기왕 6개월 투자하기 위해 과정을 듣고 있으니 최선을 다했으면 좋겠습니다.
혜원) 공부는… 솔직히 아무리 누가 하라고해도 본인이 직접해야 합니다.
아이펠캠퍼스는 온라인으로 진행하기에 자율성이 있는 특수한 부트캠프라고 생각합니다.
그렇기에 누군가는 안좋게 남용하는 경우가 생길 수도 있는데 절대 그러지 마시고
시간을 잘 활용하면 아이펠이 여러분 인생의 좋은 발판이 될 수 있을거라 생각하며 제 개인적으로 아이펠은 “투자”가 되길 기원합니다.
선재) 아이펠 기간동안 내용을 잘 따라가는 것이 정말로 중요합니다.
내용이 많고 방대하고 심오하긴 해도 잘 따라가면 분명 결실을 맺을 수 있고… 두루두루 다른 그루들과 친해져야 한다고 생각합니다.
공부에 익숙하다보면 전부 다 친해지지 않고 몇몇 사람들과만 친해지는데 그것보다 모든 그루들과 친해져서 좋은 기회를 잡는 것이 중요하다고 생각합니다.
주영) 아이펠하시는 동안 매일매일 열심히 사는것이 중요합니다.
분명 여러분들이 아이펠 캠퍼스에서 공부하다가 힘들때가 분명생기고 시간을 투자하는것만큼 실력이 늘지 않을 수도 있습니다.
그러나 어느 순간 실력이 퀀텀점프하니까 끈기있게 공부해주세요!
주영님께서 인터뷰에서 이야기하는 장면
13. 마지막으로 연구에 도움을 주신 분들께 감사 인사를 전한다면?
인준) 저를 물심양면을 믿어준 부모님께 감사합니다! 사랑합니다!!
혜원) 영완님께서 정말 큰 버팀목이 되셔서 감사합니다.
아이펠 캠퍼스를 같이 이끌어줬던 영빈님, 광석님, 남철님, 정은님 감사드리고 아이펠 캠퍼스 매니저 우일님도 감사합니다!
마지막으로 아이펠톤 과정을 면밀하게 살피고 관리해준 경원님도 감사합니다!
특히 좋은 주제를 선정해서 같이 논문을 본 영빈님 감사해요!!
선재) 항상 도와주시는 부모님과 영완님께 감사합니다! 그리고 근철님!! 아이펠 소개시켜줘서 고맙습니다!
