글로벌 MLOps 트렌드와 한국형 MLOps 전략

모두의연구소 열린세미나 「MODUPOP」

모두의연구소에서 진행된 세미나 ‘모두팝’에서 마키나락스의 정종섭님과 김민규님께서 MLOps에 대한 개괄적인 내용과 그 회사의 MLOps 전략을 발표하였습니다. 이 세미나를 통해 MLOps의 정의와 이를 도입했을 때 발생할 수 있는 문제점들, 그리고 마키나락스에서 어떻게 이러한 문제들을 해결해 나갔는지에 대한 내용을 다루었습니다. 이 글에서는 해당 세미나를 통해 얻은 정보를 바탕으로 MLOps의 개념과 도입 시 겪게 되는 어려움, 그리고 마키나락스의 전략을 통해 이를 극복하는 방법에 대해 간략하게 소개하고자 합니다.

마키나락스가 생각하는 MLOps란?

MLOps는 인공지능(AI) 개발 및 운영을 위한 도구와 활동의 일련의 과정으로, 생산성과 시스템이라는 두 가지 핵심 키워드를 중심으로 설명할 수 있습니다. 이러한 키워드가 중요한 이유는, 먼저, 기계 학습(ML) 모델의 실제 생산성이 평균적으로 9%에 불과한데 이는 회사마다 처한 상황이 다르기 때문입니다. 이로 인해 오픈소스를 통해 모든 문제를 해결하려 하면 시스템이 점점 복잡해질 수밖에 없습니다. 또한, 서비스를 진행하더라도 자동화되지 않은 부분이 많고, 다양한 툴들이 존재하며 각각의 장단점이 있기 때문에 MLOps의 여러 영역에서 딥러닝 엔지니어와 소프트웨어 엔지니어의 협업으로 진행할 수 밖에 없습니다. 지속적인 협업은 개발에 있어서 병목으로 작용할 수 있어 비효율성을 초래할 수 있습니다.

이러한 이유로, 마키나락스는 MLOps를 설명하는데 있어 ‘생산성’과 ‘시스템’이라는 키워드가 중요한 역할을 합니다. 이 두 키워드를 바탕으로 MLOps의 목표는 다양한 도구와 전략을 활용하여 기계 학습 모델의 개발 및 운영 과정을 체계적이고 효율적으로 관리하는 것입니다. 이를 통해 AI 기반의 서비스나 솔루션을 제공하는 기업들은 개발자와 연구자간의 협업을 강화하고, 더 나아가 생산성을 극대화할 수 있게 됩니다. 결국, MLOps의 핵심은 기계 학습 모델의 생산성을 높이고, 시스템 전반의 복잡성을 줄이는 것에 있습니다.

MLOps를 개발할 때 주의해야 할 사항들

MLOps는 기계 학습 모델의 전체 생산 과정을 효율화하기 위해 문제 정의, 데이터 수집 및 전처리, 모델 개발 및 학습, 모델 배포, 그리고 모델 운영까지 포함한 체계적인 접근 방식을 취하고 있습니다. 이러한 과정들을 자동화하는 것이 MLOps의 목표입니다. 이러한 접근 방식의 필요성은 모델이 실제 서비스로 구현되기 위해서는 각 단계에서 발생할 수 있는 문제들을 최소화해야 하기 때문입니다. 예를 들어, 문제 정의가 잘못되거나 데이터 수집 및 전처리가 부정확하게 이루어지면, 그 결과로 나온 모델은 실제 서비스에 적용할 수 없게 됩니다. 또한, 모델 학습 및 배포 과정에서 문제가 발생하거나 운영이 원활하지 않다면, 그 모델은 실제로 사용할 수 없게 되어 생산성이 떨어지게 됩니다.

이를 극복하기 위해 데이터 사이언티스트가 모든 과정을 공부하고 사용하는 것은 쉽지 않기 때문에 시스템을 자동화하는 것이 편합니다. 따라서, MLOps는 문제 정의부터 운영에 이르는 전체 과정을 체계적으로 관리하고 자동화하여, 기계 학습 모델의 실제 서비스 구현에 있어 효율성과 생산성을 높이는 것을 목표로 하고 있습니다.마키나락스는 이러한 정의를 토대로 기계 학습 모델의 개발 및 운영에서 발생할 수 있는 다양한 문제점들을 최소화하면서, 더욱 견고한 인공지능 서비스를 제공할 수 있게 됩니다.

마키나락스가 MLOps 생태계에 했던 기여

MLOps가 한국 시장에서 성공적으로 작동하기 위해서는 여러 가지 요소들을 고려해야 합니다. 먼저, 필수 기능을 제공하고 다양한 고객사의 인프라 환경을 지원해야 합니다. 이는 기업마다 상황과 다루는 영역이 다르기 때문에 특히 중요한 요소입니다. 또한, 라이선스 충돌을 방지해야 하며 사용자 친화적인 UI/UX를 갖추어야 합니다.

마키나락스는 이러한 고려 사항들을 잘 이해하고 있으며, 작년부터 자체적으로 진행하고 있던 MLOps 내용들을 “모두의 MLOps”라는 이름으로 오픈소스화했고 사람들에게 노하우를 공유했습니다. 마키나락스는 한국 시장의 특성과 기업들의 다양한 요구사항을 충족시키는 MLOps 솔루션을 제공함으로써, 국내 기업들이 기계 학습 모델 개발 및 운영에 있어 효율성과 생산성을 높일 수 있게 되었습니다. 이를 통해 기업들은 자신들의 상황에 맞춘 MLOps 전략을 수립하고, 라이선스 충돌을 피할 수 있는 안정적인 환경에서 작업할 수 있게 되었습니다.

또한, 직관적인 UI/UX를 통해 사용자들이 더욱 쉽게 MLOps 도구를 사용할 수 있게 되어, 기계 학습 모델 개발 및 운영에 대한 진입장벽이 낮아지게 되었습니다. 이러한 점들이 종합적으로 고려되어 MLOps가 한국 시장에서 성공적으로 도입되고 활용되고 있음을 확인할 수 있습니다. 앞으로도 MLOps는 지속적으로 발전하며, 국내 기업들의 인공지능 서비스 구현에 더욱 기여할 것으로 예상됩니다.

실제 마키나락스가 겪었던 MLOps 개발 비하인드 스토리

마키나락스의 MLOps는 개발과 배포를 유기적으로 연결하고 프로세스 표준화를 통해 데이터 사이언티스트들이 ML 개발에만 집중할 수 있게 만들었습니다. 이를 위해 적절한 수준의 데이터 사이언티스트 자유도와 백엔드 엔지니어의 표준화를 도입하여 Kubeflow, Redis, MLflow, CORE와 같은 도구들을 사용했습니다. 그러나 데이터 사이언티스트의 입장에서 파이프라인 작성이 어려웠고, Kubeflow 환경의 재현이 어려운 문제가 있었습니다. 이에 마키나락스는 조금 더 접근하기 쉬운 방식을 도입하여 데이터 사이언티스트들을 위한 UI/UX를 제공했습니다.

이러한 접근은 데이터 사이언티스트들이 실험과 실적용 사이의 차이를 인지하며 개발을 진행할 수 있게 돕고, 빠르게 배포하고 수정할 수 있는 환경을 제공하는 것을 목표로 합니다. 한편, 백엔드 엔지니어들은 쉽고 빠르게 파이프라인을 작성하면서 데이터 사이언티스트의 자유도를 보장하고, 서비스를 안정적으로 유지하는 역할을 맡게 됩니다. 이러한 노력 덕분에 마키나락스의 MLOps는 데이터 사이언티스트와 백엔드 엔지니어 사이의 상충되는 요구를 조율하여 효율적인 협업 환경을 구축할 수 있었습니다.

결과적으로, 마키나락스의 MLOps 전략은 데이터 사이언티스트와 백엔드 엔지니어 간의 상호 작용을 원활하게 하여 ML 모델 개발과 서비스를 보다 신속하게 진행할 수 있게 되었습니다. 이를 통해 기업들은 더 나은 생산성과 경쟁력을 확보할 수 있게 되었으며, 이러한 경험을 바탕으로 마키나락스는 다른 기업들에게도 MLOps에 대한 지식과 경험을 전파하고자 노력하고 있습니다. 이를 통해 더 많은 기업들이 MLOps를 효과적으로 도입하여 AI 및 ML 프로젝트의 성공 확률을 높이고, 빠른 시간 안에 혁신적인 서비스를 출시할 수 있도록 도움을 제공하고자 합니다.

세미나의 결론

마키나락스의 성공 사례를 통해 알 수 있듯이, MLOps는 한국의 기업들이 생산성을 향상시키고 글로벌 경쟁력을 확보하기 위한 핵심 도구로 자리매김되고 있습니다. 이에 따라 국내 기업들은 MLOps 도입에 대한 관심을 높이고, 필요한 인프라와 도구들을 효과적으로 활용하여 AI 및 ML 프로젝트의 성공적인 진행을 위한 기반을 마련할 필요가 있습니다.

결론적으로, 마키나락스의 MLOps 전략과 성공 사례는 국내 기업들에게 MLOps 도입의 중요성을 강조하고, 효과적인 협업과 프로세스 최적화를 통해 AI 및 ML 프로젝트의 성공을 이끌어낼 수 있는 좋은 모델이 될 수 있습니다. 더불어, 이러한 경험과 전략은 다른 기업들에게도 MLOps를 도입하고 활용하는 데 있어 큰 도움이 될 것으로 기대되며, 이를 통해 한국의 AI 및 ML 산업이 더욱 발전하고 성장할 수 있을 것입니다. 이를 위해, 지속적인 연구와 개발, 그리고 다양한 기업들과의 협력을 통해 MLOps의 가치를 확산시키고, 최적화된 방법론을 제공하는 것이 중요할 것으로 보입니다.

*해당 내용은 템플릿을 만들고 GPT-4를 이용해서 작성한 블로그입니다.*