d라이브러리

지금까지 수많은 인공지능(AI)이 개발됐고, 사회, 정치, 경제 등 분야의 제한 없이 활용되고 있다. 허나 AI는 차가울 만큼 치우침 없는 판단을 내릴 것이라는 대중의 생각과 달리, AI가 실제로는 편향된 판단을 내릴 수 있다는 사실이 여러 번 드러나 논란을 겪었다. 
대표 사례를 소개한다.

편향을 감춘 알고리즘
인종 따라 재범 확률 차별, 컴퍼스

2016년 미국의 독립언론 ‘프로퍼블리카’는 탐사보도를 통해 미국 20여 개 주 법원이 사용하던 AI 시스템 ‘컴퍼스(COMPAS)’가 인종 차별을 한다는 사실을 밝혔다.
민간업체가 개발한 컴퍼스는 체포 직후 피의자에게 실시한 설문조사를 바탕으로 재범 위험성을 1점부터 10점까지 점수화해 제시하는 알고리즘이다. 법원은 실제 판결을 내릴 때 컴퍼스의 점수를 참고하고 있다. 그러나 프로퍼블리카가 컴퍼스의 결과를 인종 별로 분석한 결과, 백인의 경우 재범 위험성이 낮은 1점을 받은 사람이 가장 많고 점수가 높아질수록 그 비율이 점차 줄어든 반면 아프리카계 미국인은 모든 점수대의 비율이 비슷하게 나왔다. 아프리카계 미국인의 재범 위험성이 전반적으로 높게 측정된 것이다. 하지만 실제 재범 결과는 정반대였다. 재범 위험성이 낮게 평가된 사람들 중 백인이 2년 내 범죄를 저지른 확률은 47.7%였지만, 아프리카계 미국인은 28%뿐이었다. 그 외에도 컴퍼스는 절도 시도가 있거나 마약을 소지한 백인보다, 저항하지 않은 흑인을 더 위험하게 판단하기도 했다.
컴퍼스 개발업체가 ‘영업상 비밀’이라는 이유로 알고리즘의 세부 사항을 공개하라는 미국 언론의 요청을 거부하면서, 편향성이 얼마나 심각한지는 정확히 파악되지 않았다.

편향을 독려한 개발자
성별 · 인종 · 종교 따라 광고 노출, 페이스북

2018년 페이스북이 시민단체인 미국시민자유연합(ACLU)으로부터 고소당했다. 페이스북의 주 수입원이었던 일명 ‘타깃광고’가 미국 정부의 차별 금지법에 어긋난다는 것이었다. 타깃광고는 광고주가 성별, 인종, 종교 등에 따라 의도적으로 노출 대상을 설정할 수 있는 광고 알고리즘이다.
이 알고리즘을 거친 결과, 페이스북에는 간호나 비서 업무와 관련된 직업은 주로 여성에게, 청소나 택시 운행과 관련된 직업은 주로 남성, 특히 비주류 인종의 남성에게 더 많이 노출됐다. 부동산 광고는 실제 구매로 이어질 확률이 높다는 이유로 백인에게 주로 노출됐고, 소수 인종에게는 잘 노출되지 않았다.
이 같은 결과가 나타난 이유로는 광고 알고리즘을 사회적으로 불평등한 상황을 반영하지 않은 채 주어진 데이터만으로 학습하게 설계했다는 점이 꼽혔다.
2019년 페이스북은 더 이상 주택, 채용, 신용 관련 광고에서 연령, 성별, 우편번호로 광고 노출 대상을 선정하지 못하도록 변경했다고 발표했다.

편향을 부추긴 사용자
학습한 대로 쏟아 낸 편향, 테이

‘Hello World’
2016년 3월 마이크로소프트(MS)에서 야심 차게 공개한 대화형 AI ‘테이(Tay)’는 이 말을 내뱉으며 세상에 발을 디뎠다. 하지만 16시간 만에 다시 세상에서 자취를 감췄다.
테이는 소셜네트워크서비스(SNS)인 트위터 상에서 사람과의 대화를 목적으로 개발됐다. 단순히 질문에 정해진 답변을 하는 것을 넘어, 딥러닝이 적용돼 사용자와의 대화를 통해 스스로 학습하는 능력을 갖췄다.
하지만 이것이 오히려 독이 됐다. 특정 온라인커뮤니티 집단에서 의도적으로 테이에게 인종 차별적인 용어, 성 차별적 발언, 자극적인 정치적 발언을 학습하도록 유도한 것이다. 그 결과 ‘홀로코스트는 조작됐다’ ‘히틀러는 잘못이 없었다’ ‘페미니스트는 지옥에서 불타 죽어야 한다’ 등의 혐오 발언을 쏟아냈다. 이내 서비스는 중단됐다. 이 사건의 원인으로는 AI가 자신의 발언에 대한 도덕적 판단 없이, 학습한 대로 내뱉는 기술적 한계가 꼽혔다.