AI 전문가 직업 및 전망은? 데이터 엔지니어 vs 머신러닝 엔지니어

AI 및 머신 러닝 분야의 직업 Top 10

Ai-jobs.net 에서 2021년 6월부터 2022년 6월까지 게시된 2500 개 이상의 채용 목록을 분석 한 결과,  AI 전문가 직업에서 가장 기업 수요가 많고 흔한 직함은 데이터 엔지니어(555개 직책 나열), 데이터 분석가(418), 데이터 과학자(398), 머신 러닝 엔지니어(177) 로 확인되었습니다. AI 일자리는 계속해서 증가하고 있습니다. 머신 러닝 엔지니어는 2017년 1월부터 2021년 7월까지 전문 소셜 네트워크 Linkedin에서 미국 직업 중 네 번째로 빠르게 수요가 증가하기도 했었죠. ‘데이터’라는 단어가 직책에 사용되는 빈도가 더 많아지고 있습니다. 이를 통해 AI 시스템에서 사용되는 데이터를 체계적으로 엔지니어링 하는 것이 점점 더 중요해지고 있다는 점을 알 수 있습니다. 본 글 에서는 데이터 엔지니어와 머신러닝 엔지니어를 중심으로 세부 직업의 전망과 역량에 대해 살펴보겠습니다.

출처: https://www.deeplearning.ai/the-batch/what-ai-employers-want/

데이터 엔지니어

데이터 엔지니어링은 데이터를 대규모로 수집, 저장 및 분석하기 위한 시스템을 설계하고 구축하는 일을 합니다. 데이터 엔지니어는 원시 데이터를 수집, 관리하고 데이터 과학자와 비즈니스 분석가가 해석할 수 있는 유용한 정보로 변환하는 시스템을 구축하기 위해 다양한 환경에서 작업합니다. 그들의 궁극적인 목표는 조직이 데이터를 사용하여 성과를 평가하고 최적화할 수 있도록 데이터에 액세스할 수 있도록 하는 것입니다.

데이터 엔지니어가 일반적으로 하는 일

• 비즈니스 요구 사항에 맞는 데이터 세트 획득
• 데이터를 유용하고 실행 가능한 정보로 변환하는 알고리즘 개발
• 데이터베이스 파이프라인 아키텍처 구축, 테스트 및 유지 관리
• 회사 목표를 이해하기 위해 경영진과 협력
• 새로운 데이터 유효성 검사 방법 및 데이터 분석 도구 만들기

데이터 엔지니어 연봉 및 전망

Glassdoor(2022년 5월)에 따르면 미국의 평균 연봉은  $115,176이며 일부 데이터 엔지니어는 연간 $168,000를 벌고 있습니다. 처리할 데이터가 있는 한 데이터 엔지니어가 필요합니다. 실제로 Dice Insights는 2019년에 데이터 엔지니어링이 컴퓨터 과학자, 웹 디자이너 및 데이터베이스 설계자를 제치고 기술 산업에서 가장 인기 있는 직업이라고 보고했습니다. LinkedIn은 2021년에 떠오르는 직업 중 하나로 데이터 엔지니어를 선정했습니다.

데이터 엔지니어가 되기 위한 역량

일반적으로 많은 데이터 엔지니어가 소프트웨어 엔지니어 또는 비즈니스 인텔리전스 분석가로 시작합니다. 경력을 쌓으면서 관리 역할로 이동하거나 데이터 설계자, 솔루션 설계자 또는 기계 학습 엔지니어가 될 수 있습니다.

• 코딩: 코딩 언어 능숙도는 이 역할에 필수적이므로 기술을 배우고 연습하는 과정을 수강하는 것이 좋습니다. 일반적인 프로그래밍 언어에는 SQL, NoSQL, Python, Java, R 및 Scala가 포함됩니다.
• 관계형 및 비관계형 데이터베이스: 데이터베이스는 데이터 저장을 위한 가장 일반적인 솔루션 중 하나입니다. 관계형 및 비관계형 데이터베이스와 작동 방식에 대해 잘 알고 있어야 합니다.
• ETL(추출, 변환 및 로드) 시스템: ETL은 데이터베이스 및 기타 소스에서 데이터 웨어하우스와 같은 단일 리포지토리로 데이터를 이동하는 프로세스입니다. 일반적인 ETL 도구에는 Xplenty, Stitch, Alooma 및 Talend가 포함됩니다.
• 데이터 저장: 특히 빅 데이터의 경우 모든 유형의 데이터를 동일한 방식으로 저장해야 하는 것은 아닙니다. 예를 들어 회사의 데이터 솔루션을 설계할 때 데이터 레이크와 데이터 웨어하우스를 사용할 시기를 알고 싶을 것입니다.
• 자동화 및 스크립팅: 조직에서 많은 정보를 수집할 수 있기 때문에 자동화는 빅 데이터 작업에 필요한 부분입니다. 반복 작업을 자동화하는 스크립트를 작성할 수 있어야 합니다.
• 머신 러닝: 머신 러닝은 데이터 과학자의 관심사이지만 팀의 데이터 과학자의 요구 사항을 더 잘 이해하려면 기본 개념을 파악하는 것이 도움이 될 수 있습니다.
• 빅데이터 도구: 데이터 엔지니어는 일반 데이터로만 작업하지 않습니다. 그들은 종종 빅 데이터를 관리하는 임무를 맡습니다. 도구와 기술은 진화하고 있으며 회사마다 다르지만 일부 인기 있는 기술로는 Hadoop, MongoDB 및 Kafka가 있습니다.
• 클라우드 컴퓨팅: 기업이 점점 더 클라우드 서비스를 위해 물리적 서버를 거래함에 따라 클라우드 스토리지와 클라우드 컴퓨팅을 이해해야 합니다. 초보자는 Amazon Web Services(AWS) 또는 Google Cloud 과정을 고려할 수 있습니다.
• 데이터 보안: 일부 회사에는 전담 데이터 보안 팀이 있을 수 있지만 많은 데이터 엔지니어는 여전히 데이터를 손실 또는 도난으로부터 보호하기 위해 데이터를 안전하게 관리하고 저장해야 합니다.

데이터 엔지니어 vs 데이터 분석가 vs 데이터 과학자

데이터 엔지니어는 데이터 분석가, 데이터 과학자와 어떤 차이점이 있는지 살펴 봅니다.
빅데이터 관련 직업에 대한 좀 더 상세 한 내용은 빅데이터 관련 직업들 블로그 글 내용을 참고하세요.

출처: https://eduspiral.com/2019/08/18/whats-the-difference-between-data-engineer-data-analyst-data-scientist-in-malaysia/

머신러닝 엔지니어

머신러닝 엔지니어는 알고리즘을 사용하여 인간이 학습하는 방식을 복제하는 방식으로 데이터를 해석합니다. 기계가 학습 정확도를 개선하고 해당 학습을 기반으로 데이터를 사용자에게 제공하는 것을 목표로 합니다. 머신러닝 엔지니어는 데이터 과학 팀의 핵심 구성원 역할을 합니다. 머신 러닝을 담당하는 인공 지능을 연구, 구축 및 설계하고 기존 인공 지능 시스템을 유지 및 개선합니다.

머신러닝 엔지니어가 일반적으로 하는 일

• 기계 학습 알고리즘 구현
• AI 시스템 실험 및 테스트 실행
• 기계 학습 시스템 설계 및 개발
• 통계 분석 수행

머신러닝 엔지니어 연봉 및 전망

미국 노동통계국에 따르면 정보 및 컴퓨터 과학 연구직은 2031년까지 21% 성장할 것이며 이는 모든 직종의 평균보다 훨씬 빠른 속도입니다. 평균 연봉은 $131,490 입니다. 2019년, 인디드는 지난 3년 동안 머신러닝 및 인공 지능 분야와 관련된 일자리에 대한 게시물 수의 증가를 기반으로 머신러닝 엔지니어를 올해의 직업 1위로 선정했습니다. COVID-19 대유행으로 인한 사회 변화로 인해 일상 업무의 자동화 강화에 대한 필요성이 그 어느 때보다 높습니다.

머신러닝 엔지니어가 되기 위한 역량

머신러닝 엔지니어가 되기 위해서는 하기와 같은 내용을 이해하는 것이 필요합니다. 상세한 내용은 머신러닝 엔지니어가 되기 위한 커리어 성장 블로그 글을 참고하세요.

• 기계학습(ML)에서 기본 이론과 알고리즘을 이해하고 확률과 통계, 선형대수학 등 수학적 개념 학습
• 선형회귀, 로지스틱회귀, SVM 등 머신러닝의 알고리즘 이해
• 지도학습, 비지도학습, 추천시스템 등 다양한 주제를 선정
• Scikit-Learn, Theano, Tensorflow, PyTorch 등 라이브러리를 활용하여 기계 학습을 응용/개발
• 데이터 기반 회사와의 협력 등 실제 문제를 해결하여 기술 연습

머신러닝 엔지니어 vs 데이터 엔지니어

데이터 엔지니어와 머신러닝 엔지니어의 차이점을 더 명확하게 이해하기 위해서 아래 데이터 사이언스 계층 구조 피라미드를 참고하셔도 좋을 것 같습니다. 데이터를 다루는 분야가 워낙 광범위하기 때문에 세부적인 역할에 따라 직업이 달라져서 처음 AI 전문가 직업 종류를 접하는 분들은 비슷한 용어가 많아 혼란스러우실 수도 있어요. 하지만 다양한 역할이 하는 일 들을 하나씩 알아가는 과정에서도 인공지능의 세부적인 기능에 대해 실무적으로 알아 가는 재미가 있다고 느껴졌습니다.

인공지능에 대해 관심이 생겨 좀 더 자세하게 학습하고 싶으신 경우에는 AI 온라인 강의 아이펠 내일배움클래스를 참고하세요.

출처 : https://jelvix.com/blog/data-engineers-vs-data-scientists

** 본 블로그의 썸네일은 AI 이미지 제너레이터를 활용해서 만들었습니다.

What are AI professional jobs and prospects? Data Engineer vs Machine Learning Engineer

참고자료

10 Most In-Demand Jobs in AI and Machine Learning
Data engineer vs Machine learning engineer vs Data science
What Is a Data Engineer?: A Guide to This In-Demand Career
what-is-machine-learning-engineer