인공지능과 빅데이터

최근에는 빅데이터(Big Data) 분석에서 빠질 수 없는 부분이 인공지능(Artificial Intelligence)이고, 인공지능에서 빠질 수 없는 부분도 빅데이터인 시대가 된 것 같습니다. 인공지능과 빅데이터 사이에는 서로 어떠한 연관성이 있을 것으로 추측이 됩니다. 요즘 핫한 ChatGPT도 머신러닝과 딥러닝 알고리즘을 사용해 빅데이터를 학습하여 훈련되었습니다.

어떠한 상호 관계가 있는지 한 번 알아보려 합니다.

인공지능과 빅데이터는 어떤 관계?

이러한 의문을 가지는 분들은 어느 정도 인공지능과 빅데이터에 대해 알고 있는 분들일 것 같습니다. 단어의 의미만 놓고 보면 인공지능은 기계에게 인간의 지능을 구현하는 것을 말하고, 빅데이터는 대용량의 데이터를 말합니다.

이렇듯 원래 단어가 의미하는 뜻만 가지고 보면 서로 상관이 없는 것 처럼 보일 수도 있습니다.

공생 관계? 혹은 상호 보완 관계?

인공지능과 빅데이터는 공생관계

데이터를 활용해서 머신러닝 알고리즘을 통해 학습을 하고 학습된 결과를 바탕으로 데이터의 의미 있는 가치를 찾아서 의사 결정을 하는데 참고 자료로 활용하는 것이 인공지능을 활용한 방법 중에 한 가지 입니다.

이 처럼 학습을 하기 위해서 빠질 수 없는 것이 데이터이고, 인공지능을 통한 가치있는 의미를 구하기 위해 필요한 것도 데이터 이기 때문에 공생 관계에 있다고 말할 수 있을 것 같습니다.

또한, 인공지능 구현에 빅데이터를 이용하여 그 정확도를 획기적으로 증가시켰고, 빅데이터 분석에 인공지능 기술을 도입하여 빅데이터의 활용성을 폭발적으로 높여주었습니다. 그래서 이 둘의 관계는 상호 보완 관계라고 볼 수도 있을 것 같습니다.

컴퓨터 하드웨어의 발전이 더뎠던 과거에는 인공지능과 데이터 분석은 크게 연관 있는 사이가 아니었습니다. 하지만 2010년대 3차 AI붐이 발생한 이후로는 인공지능과 빅데이터는 매우 밀접한 사이가 되었습니다.

어떠한 부분들로 인해 이런 관계가 되었는지 한 번 알아보겠습니다.

인공지능과 빅데이터 활용 사례

한 통신회사가 인공지능(AI)을 활용해 콘텐츠가 아이에게 미치는 영향에 관한 내용을 발표 했습니다.

인공지능과 빅데이터 활용 사례

L사는 AI로 두 명의 미취학 아이를 구현했는데, 아이에게 서로 다른 콘텐츠를 제공했습니다. 한 명의 AI에는 아이용 콘텐츠를 제공했고, 다른 한 명에는 무분별한 콘텐츠를 제공하는 방식이었습니다. 전자에서는 올바른 언어를 사용했다면, 후자에서는 어른이 사용하는 비속어를 사용한 것입니다.

당연한 결과라고 볼 수 있겠습니다. AI도 아이처럼 학습한 대로 행동하기 때문입니다. 다른 사례를 한 번 더 보겠습니다.

2016년 3월 M사가 선보인 AI 챗봇 ‘테이(Tay)’를 예로 들어보면, M사는 테이를 선보인 지 16시간 만에 챗봇 서비스 제공을 중단했다고 합니다. 이유는 테이가 인종차별 발언 등 막말을 서슴지 않았기 때문이라고 합니다.

그런데 테이의 이러한 막말은 학습에 기반한 것입니다. 실제로 M사는 개발과정에서 실수로 테이가 막말까지 학습하도록 설계돼 있었다고 밝혔다고 합니다.

L사와 M사의 사례는 비슷해 보입니다. 차이점은 활용 목적인데, 테이를 미취학 아동에 적용하고, L사의 AI 아이를 테이에 적용해도 결과는 유사할 것이라고 추측할 수 있을 것 같습니다.

이처럼 AI에서는 데이터 학습이 중요함을 알 수 있습니다. 더 나아가서는 AI가 빅데이터와 큰 연관이 있음을 알 수 있게 한다고 생각됩니다.

빅데이터의 세 가지 특징

두 기술의 연관성을 알기 위해서 빅데이터의 특징을 알아 보겠습니다. 2012년 가트너는 빅데이터를 3V로 정의 했습니다. 규모(Volume), 속도(Velocity), 다양성(Variety) 입니다.

규모는 대량의 데이터를 보유하고 있어야 하고, 속도는 데이터 처리가 빨라야 하며, 다양성은 정형 데이터 뿐만아니라 비정형 데이터도 처리할 수 있어야 함을 의미합니다. 이 세가지 특징 중 다양성에 주목할 필요가 있습니다.

기존의 인공지능 시스템은 사람이 규칙을 만들어서 구현했습니다. 일정한 규칙이나 패턴을 만들어 공식을 주입했다고 봐도 무방할 것 같습니다. 하지만 현재 인공지능은 데이터를 통해서 공식을 스스로 만들도록 하고 있습니다. 이를 기계학습(Machime Learning)이라고 합니다.

현재 인공지능은 지능을 스스로 구현하는 셈입니다. 주어진 데이터의 특성을 여러 요인으로 쪼개어 분석 및 학습을 하여 여러 복잡한 업무를 처리할 수 있게 합니다. 사물 인식과 같은 비정형적인 데이터도 분석할 수 있게 합니다.

인공지능은 사물의 특성을 여러 요인으로 쪼개어 학습해 사물을 인지할 수 있습니다. 따라서 인공지능은 빅데이터의 다양성 부분을 구현할 수 있게 합니다. 데이터의 여러 특성을 추출해 스스로 지능을 구현하는 방식이 비정형 데이터도 처리할 수 있게 한 것입니다.

빅데이터의 3가지 특징

빅데이터 특징의 확장

최근에는 5V라는 용어가 등장했습니다. 추가된 특성은 타당성(Validity)과 신뢰성(Veracity)입니다. 타당성은 빅데이터가 올바른 데이터를 제공해야 함을 의미합니다. 올바르지 못한 데이터 제공은 앞에서 이야기 한 테이와 같은 사태를 일으킬 수도 있기 때문입니다.

신뢰성은 빅데이터가 제공하는 데이터에 신뢰가능해야 함을 의미합니다. 이것 또한 인공지능과 연관이 있습니다. 데이터를 기반으로 학습을 하기 때문인 것을 이해하실 거라 생각됩니다. 데이터의 신뢰성을 중시한 서비스로 블록체인이 해당될 수 있을 것 같습니다.

인공지능과 데이터 분석

빅데이터를 활용한 분야에서 데이터 분석은 크게 세 가지 단계로 볼 수 있습니다.

Descriptive Analytics(서술적 분석)

데이터로 지금 일어나는 현상을 설명하는데 초점을 맞추는 영역
SNS에 올라오는 글들을 수집하여 최근 많이 언급되고 있는 단어가 무엇인지 파악하여 이를 통해 현 트렌드를 분석하는 것

Predictive Analytics(예측 분석)

빅데이터 분석의 꽃, 미래 무슨 일이 일어날지 사전에 파악하는 영역
머신러닝 기술이 많이 적용 이메일이 왔을 경우 해당 텍스트를 분석하여 스팸메일인지 아닌지 예측하여 알아서 구별해주는 것

Prescriptive Analytics(처방적 분석)

앞으로 무엇을 해야하는 지를 분석하는 영역
책 판매 업체난 음악 스트리밍 사이트에서 상품을 추천하는 것
대부분의 처방적 분석이 추천 시스템의 내용이고 추천 시스템도 역시 딥러닝 기술이 중요

인공지능과 데이터 분석

결국 빅데이터 분석에서 매우 많은 부분이 인공지능 기술을 활용하고 있음을 알 수 있고 서로 다른 별개가 아니라, 깊은 연관 관계에 있다고 볼 수 있습니다. 그래서 인공지능을 공부하다 보면 데이터의 중요성을 알게 되고, 그로 인해서 빅데이터를 다루는 기술에도 관심을 갖고 공부하게 되는 경우가 많은 것 같습니다.

이와 같이 인공지능과 빅데이터와 관련된 기술들을 접할 수 있고 함께 공부하고 알아갈 수 있는 곳이 모두의 연구소 아이펠에 갖추어져 있습니다. 내일배움카드 신청이 가능하다면 전액 무료 교육이 가능한 KDT(K-Digital Training) 사업 중 하나 입니다.

아래 링크 참조하시면 자세한 내용을 확인하실 수 있습니다.

아이펠 캠퍼스 – 모두의연구소가 만든 AI학교 아이펠

70명 AI 현업 전문가와 공동 개발한 AI학교 아이펠에서 함께 성장해요.

참고자료 링크