AI 윤리의 개념

흑인의 재범률이 백인보다 높다?

범죄 전과자의 얼굴 이미지를 기반으로 재범률을 예측하는 인공지능 알고리즘을 테스트 한 결과, 인공지능은 흑인의 재범률을 백인에 비해 실제보다 훨씬 더 높게 추론했습니다. 인공지능이 판사를 대체할 경우, 인간은 기계에 의해 인종차별을 당할 수 있는 것이죠.

인공지능의 학습 알고리즘은 방대한 데이터를 기초로 하는 일종의 통계적 추론입니다. 여성, 장애인, 유색인종 등 소수 집단의 데이터는 수집이 어렵기 때문에, 알고리즘이 학습하는 데이터에도 편향성이 생길 수 있죠. 이처럼 AI 기술이 발전할 수록 AI 이해관계자들이 준수해야 할 보편적 사회 규범 및 관련 기술인 인공지능 윤리(AI Ethics)에 대한 관심도 함께 높아지고 있습니다.

흑인을 고릴라로 인식한 구글 (사진출처 : 한겨례신문)

AI 윤리 침해 사례

인공지능을 비윤리적으로 활용하는 경우는 대량의 인명 피해가 예상되는 자율살상 무기 개발을 대표적으로 볼 수 있습니다. 2025년 기준으로 인공지능을 탑재한 군사용 로봇과 드론 시장 규모는 민간 시장 규모를 압도할 것으로 예상되고 있습니다.

또한 의도적으로 의도적으로 가짜 이미지나 영상, 뉴스, 음성을 생성해 배포하는 행위도 만연할 수 있죠. 딥페이크라고 불리는 가짜 편집물들은 개인의 평판과 사회적 신뢰감을 저하시킵니다.

자율 주행차의 경우 운전자와 보행자 모두 위험한 경우 누구를 더 보호해야 할까요? 인공지능에게 의사결정권을 얼마나 부여하고 또 어떻게 인간 사회의 가치와 법칙을 존중하도록 설계해야 하는 것이 더 중요해집니다. 또, 외국에서는 자율적 판단을 수행하는 인공지능에 대하여 ‘행위자’로서의 법적 존재를 인정하기 시작했습니다. 미국 도로교통안전국은 구글의 자율주행 시스템이 사람처럼 연방 법률에 규정된 ‘운전자’로 볼 수 있다고 판단했습니다.

인공지능 개인비서 서비스는 사용자의 연락처, 대화 내용, 집안 모습 등 개인정보에 대한 접근 및 저장이 필요합니다. 해킹됐을 경우 사용자의 상세한 개인정보가 실시간으로 유출되는 심각한 프라이버시 침해 가능성이 있습니다.

인공지능 채팅봇에게 부적절한 말을 악의적으로 학습시킬 수 있습니다. 백인 우월주의자와 여성⸱무슬림 혐오자들이 MS 인공지능 채팅봇 ‘테이’에게 인종⸱성차별 발언을 학습시킨 일이 발생했습니다. 테이는 “대량학살을 지지한다”, “깜둥이들을 증오한다.” 등의 부적절한 말을 쏟아냈습니다.

인공지능이 창작을 할 경우 인간의 고유한 창의성 침해에 대한 이슈 및 창작물에 대한 저작권에 대한 이슈도 생각해볼 수 있습니다. 인공지능 작곡가 ‘보이드’가 등장하고 인공지능이 쓴 소설이 일본 문학상 1차 심사를 통과하기도 했었죠.

AI 예술 활동 사례 (출처: 머니투데이)

우리가 지켜야 할 인공지능 윤리 수칙

인공지능이 발전함에 따라 인간과 대등한 지식을 축적하거나 더 나아가 인간의 지식과 예측, 제어를 뛰어넘는 상황을 야기할 수 있습니다. 또한 인공지능이 취득한 개인정보와 사생활 정보에 대한 유출이나 인공지능 서비스 이용에 대한 빈익빈 부익부 현상 등 인공지능의 부작용을 막기 위해 각 기업, 학계, 정부에서는 인공지능 윤리의 중요성을 인지하고 다양한 인공지능 윤리 가이드라인을 만들어 공유하고 있습니다. 주요 인공지능 윤리 가이드라인에서 다루고 있는 원칙을 살펴봅니다.

사람 중심의 인공지능 윤리 기준 (과기정통부, 2020년 제정)

인공지능 시대 바람직한 인공지능 개발·활용 방향을 제시하기 위해 과기정통부에서 2020년에 제정한 사람 중심의 인공지능(AI) 윤리기준의 3대 기본원칙, 10대 핵심요건은 하기와 같습니다.

3대 기본원칙

1. 인간 존엄성 원칙

인간은 신체와 이성이 있는 생명체로 인공지능을 포함하여 인간을 위해 개발된 기계제품과는 교환 불가능한 가치가 있다.
인공지능은 인간의 생명은 물론 정신적 및 신체적 건강에 해가 되지 않는 범위에서 개발 및 활용되어야 한다.
인공지능 개발 및 활용은 안전성과 견고성을 갖추어 인간에게 해가 되지 않도록 해야 한다.

2. 사회의 공공선 원칙

공동체로서 사회는 가능한 한 많은 사람의 안녕과 행복이라는 가치를 추구한다.
인공지능은 지능정보사회에서 소외되기 쉬운 사회적 약자와 취약 계층의 접근성을 보장하도록 개발 및 활용되어야 한다.
공익 증진을 위한 인공지능 개발 및 활용은 사회적, 국가적, 나아가 글로벌 관점에서 인류의 보편적 복지를 향상시킬 수 있어야 한다.

3. 기술의 합목적성 원칙

인공지능 기술은 인류의 삶에 필요한 도구라는 목적과 의도에 부합되게 개발 및 활용되어야 하며 그 과정도 윤리적이어야 한다.
인류의 삶과 번영을 위한 인공지능 개발 및 활용을 장려하여 진흥해야 한다.

10대 핵심 요건

① 인권보장

인공지능의 개발과 활용은 모든 인간에게 동등하게 부여된 권리를 존중하고, 다양한 민주적 가치와 국제 인권법 등에 명시된 권리를 보장하여야 한다.
인공지능의 개발과 활용은 인간의 권리와 자유를 침해해서는 안 된다.

② 프라이버시 보호

인공지능을 개발하고 활용하는 전 과정에서 개인의 프라이버시를 보호해야 한다.
인공지능 전 생애주기에 걸쳐 개인 정보의 오용을 최소화하도록 노력해야 한다.

③ 다양성 존중

인공지능 개발 및 활용 전 단계에서 사용자의 다양성과 대표성을 반영해야 하며, 성별·연령·장애·지역·인종·종교·국가 등 개인 특성에 따른 편향과 차별을 최소화하고, 상용화된 인공지능은 모든 사람에게 공정하게 적용되어야 한다.
사회적 약자 및 취약 계층의 인공지능 기술 및 서비스에 대한 접근성을 보장하고, 인공지능이 주는 혜택은 특정 집단이 아닌 모든 사람에게 골고루 분배되도록 노력해야 한다.

④ 침해금지

인공지능을 인간에게 직간접적인 해를 입히는 목적으로 활용해서는 안 된다.
인공지능이 야기할 수 있는 위험과 부정적 결과에 대응 방안을 마련하도록 노력해야 한다.

⑤ 공공성

인공지능은 개인적 행복 추구 뿐만 아니라 사회적 공공성 증진과 인류의 공동 이익을 위해 활용해야 한다.
인공지능은 긍정적 사회변화를 이끄는 방향으로 활용되어야 한다.
인공지능의 순기능을 극대화하고 역기능을 최소화하기 위한 교육을 다방면으로 시행하여야 한다.

⑥ 연대성

다양한 집단 간의 관계 연대성을 유지하고, 미래세대를 충분히 배려하여 인공지능을 활용해야 한다.
인공지능 전 주기에 걸쳐 다양한 주체들의 공정한 참여 기회를 보장하여야 한다.
윤리적 인공지능의 개발 및 활용에 국제사회가 협력하도록 노력해야 한다.

⑦ 데이터 관리

개인정보 등 각각의 데이터를 그 목적에 부합하도록 활용하고, 목적 외 용도로 활용하지 않아야 한다.
데이터 수집과 활용의 전 과정에서 데이터 편향성이 최소화되도록 데이터 품질과 위험을 관리해야 한다.

⑧ 책임성

인공지능 개발 및 활용과정에서 책임주체를 설정함으로써 발생할 수 있는 피해를 최소화하도록 노력해야 한다.
인공지능 설계 및 개발자, 서비스 제공자, 사용자 간의 책임소재를 명확히 해야 한다.

⑨ 안전성

인공지능 개발 및 활용 전 과정에 걸쳐 잠재적 위험을 방지하고 안전을 보장할 수 있도록 노력해야 한다.
인공지능 활용 과정에서 명백한 오류 또는 침해가 발생할 때 사용자가 그 작동을 제어할 수 있는 기능을 갖추도록 노력해야 한다.

⑩ 투명성

사회적 신뢰 형성을 위해 타 원칙과의 상충관계를 고려하여 인공지능 활용 상황에 적합한 수준의 투명성과 설명 가능성을 높이려는 노력을 기울여야 한다.
인공지능기반 제품이나 서비스를 제공할 때 인공지능의 활용 내용과 활용 과정에서 발생할 수 있는 위험 등의 유의사항을 사전에 고지해야 한다.

사람 중심의 인공지능 윤리 기준

사람의 성장을 지원하는 교육분야 인공지능 윤리원칙 (교육부, 2022년)

교육부에서 옿해 초 인공지능이 교육현장에서 안전하게 학습자의 성장을 지원할 수 있도록 사회적 담론 형성 및 자율규제의 촉매제로서 윤리원칙을 정의한 바 있습니다.
교육분야에서 인공지능은 사람의 전 생애에 걸쳐 전인적 성장 지원을 최고 가치로 삼으며, 사람의 인격을 존중하고 개성을 중시하여 사람의 능력이 효과적으로 발휘될 수 있도록 제공되어야 한다는 것을 가장 큰 대 원칙으로 삼고 있습니다

3개 기본 원칙

1. 학습자의 주도성 강화
2. 교수자의 전문성 존중
3. 기술의 합목적성 제고

9가지 세부 원칙

① 인간성장의 잠재가능성을 이끌어낸다.

교육분야 인공지능을 활용하여 학습자의 데이터를 분석하는 경우, 인공지능의 진단 또는 예측 결과가 개별 학습자에 대한 낙인효과를 갖지 않도록 노력해야 한다.
인공지능의 지원을 받는 부분에 있어 과도한 진단이나 예측은 자제하고, 인공지능을 활용한 학습 진단이나 예측 결과의 고지에 있어서도 신중을 기해야 한다.

② 모든 학습자의 주도성과 다양성을 보장한다.

인공지능의 교육적 활용은 학습자가 학습에 대한 자기주도성을적극적으로 발현할 수 있도록 지원하는 것이어야 한다.
교육분야의 인공지능은 교육내용·방법, 학습 진단과 진로 판단 등에 인공지능의 사용으로 학습자의 주도성이 억압되지 않도록 유의해야 한다.
인공지능의 활용은 교육의 획일화를 지양하고 학습자의 개별적인필요에대한 맞춤형 교육을 시도하기 위한 것이어야 한다.

③ 교육당사자 간의 관계를 공고히 유지한다.

교육분야 인공지능은 사회공동체 일원의 권리 보호 및 배려를 통한 공동체 형성과 유지를 돕는 방향으로 적용되어야 한다.
교육분야 인공지능이 학습자의 개별학습 경험을 강화함에따라 사회적인 관점에서 교육공동체 유지와 지속에 대한 논의가 필요하다.
UNESCO에서 강조하는 바와 같이 교육분야 인공지능은 교수자와 학습자, 학습자와 학습자 등 인간적 관계의 확대를 지원해야 한다.

④ 교육의 기회균등 실현을 통해 공정성을 보장한다.

교육의 기회균등 실현을 위하여 인공지능을 활용한 교육에 대한 사회적 약자의 접근성 강화가 필요하다.
교육의 기회균등은 ｢교육기본법｣에서 정하는 기본 원칙으로, 교육분야인공지능을 활용함으로써 누리는 혜택으로부터 소외되는 사람이 없도록 노력해야 한다

⑤ 교육공동체의 연대와 협력을 강화한다.

인공지능을 활용하여 교육을 바꾸어나가기 위해서는 교수자, 행정기관등 교육당사자와 연구자 및 개발자, 에듀테크 기업 등의 다양한관계자가 협력하고 함께 도전할 수 있는 기반이 마련돼야 한다.
더불어, 교육은 학습자를 미래사회의 일원으로 양성하는 것으로, 중장기적인 영향을 고려하는 등 미래세대에 대한 배려를 바탕으로 교육분야 인공지능의 활용이 이루어져야 한다.

⑥ 사회 공공성 증진에 기여한다.

교육은 공동체의 일원으로서의 민주시민을 양성하는 과정으로, 교육의 디지털 전환에 대응하여 미래세대를 위한 새로운 윤리의식의 정립이 필요하다는 공감대가 형성되고 있다.
이에 따라 교육분야 인공지능은 사회를 긍정적인 방향으로이끌고공공성 증진하는 방향으로 활용되어야 한다.

⑦ 모든 교육당사자의 안전을 보장한다.

교육은 학습자의 가치관과 인격 형성의 주된 요인이므로 교육분야인공지능의 안전성을 보장하는 것은 매우 중요하다.
특히, 교육 현장에서의 학습자는 대부분 미성년으로 인공지능 데이터의불건전·편향 등 인공지능 안전성이 확보되지 않을 경우, 미래세대에 미칠 부정적 영향이 매우 클 수 있다.
따라서 교육분야 인공지능의 잠재적 위험으로 인한 피해를 최소화하고 실효성 있는 피해 구제를 위한 책임 주체와 범위를 명확히 해야 한다.

⑧ 데이터 처리의 투명성을 보장하고 설명 가능해야 한다.

교육이 이루어지는 과정에서 인공지능의 영향을 예측하고 진단하기 위해 데이터 수집·정제·선택 등의 처리 과정이 투명해야 한다.
또한, 교수·학습과정 등에서 활용되는 인공지능이 적재적소에활용되고 교육적 효과를 발휘하기 위해서는, 인공지능이 분석한 결과에 대한 근거와 판단 자료가 교육당사자가 이해할 수 있는 언어나 형태로 제공되어야 한다.

⑨ 데이터를 합목적적으로 활용하고 프라이버시를 보호한다

교육 분야에 인공지능에 활용되는 데이터는 합목적성이 강조되어야 하며 불필요한 데이터를 과도하게 수집하지 않도록 해야 한다.
비식별화되기 어려운 개인정보 및 민감정보의 공개와 활용에대하여당사자에게 적절히 고지하고 선택할 수 있도록 해야 한다.
교육과정에서 인공지능에 제공되는 데이터는 교육당사자의 학습이력, 건강·상담기록 등 민감한 정보일 경우가 많을 수 있어 보다 엄격한 관리가 필요하다.

교육분야 인공지능 윤리원칙

이 밖에도 카카오, 삼성전자, 네이버 등 국내 기업에서는 인공지능 윤리 원칙을 발표하기도 하고, 한국인공지능협회 및 인터넷윤리학회 등 다양한 국내 학계에서도 관련 정책 연구와 학술 활동을 활발하게 진행하고 있습니다. 인공지능 기술을 더 잘 사용하기 위해서는 인공지능에 대한 윤리에 대한 이해가 필수 아닐까요? 🙂

참고자료
인공지능(AI)윤리 가이드라인의 중요성과 국가별 대응 현황
교육분야 인공지능 윤리원칙 마련을 위한 공청회 개최
AI4SCHOOL AI 윤리 문제 사례
과기정통부, 「인공지능(AI) 윤리기준」마련