d라이브러리

클레임버스터의 원리(자료 : 쳉카이 리 교수)
문장이 주어지면 가장 먼저 그간 긁어 모은 사실과 대조한다(주장 대조기).
만약 여기서 일치하는 사실을 찾지 못하면 ‘주장 검토기’ 단계로 넘어간다.
검색엔진에서 검색하거나, CNN 등 신뢰할 만한 웹사이트에서 비슷한 문장을 찾아 보여준다.
평소 소셜미디어 등을 자동으로 모니터링해 팩트 체크해야 할 문장을 찾기도 한다.

 

팩트 꾸러미 만들고 빠르게 검색해 대조
미국 텍사스대, 미시시피대 등이 참여한 연구팀은 주장의 신뢰도를 검토하는 인공지능 ‘클레임버스터’를 개발하고 있습니다. 이미 베타 서비스가 출시됐죠(idir-server2. uta.edu/claimbuster). 문장을 입력하면 0.0에서 1.0 사이 의 숫자로 신뢰도를 표시해주는 서비스입니다. 점수가 높을수록 진위 여부를 따져봐야 한다는 뜻입니다.

이 알고리즘은 바둑 인공지능 ‘알파고’와 비슷한 방식 으로 개발했습니다. 사람이 만든 데이터를 기계에 학습시 킨 겁니다. 연구팀은 과거 정치인들의 토론문에서 약 2만 개의 문장을 선정해 전문가들에게 이 중 진위 여부가 확 실치 않아 팩트 체크가 필요한 문장을 뽑아 신뢰도를 숫 자로 매기게 했습니다. 이를 인공지능에 학습시킨 결과, 새로운 발언을 입력했을 때 약 79%의 정확도로 사실인 문장과 팩트 체크가 필요한 문장을 구분했습니다.

숫자만 출력했던 클레임버스터는 최근 좀 더 정교해졌 습니다. 프로젝트를 이끌고 있는 미국 텍사스대 컴퓨터과 학및공학과 쳉카이 리 교수는 e메일 인터뷰에서 “최근 주어진 문장을 사실과 대조하는 기능(matcher)과 검색엔진을 이용해 진위를 확인하는 기능(checker)을 구현했다”고 말했습니다.

클레임버스터는 문장이 주어지면 가장 먼저 그간 긁어 모은 사실들과 대조합니다. 소셜미디어, 의회록, CNN 등 언론사에서 수집한 정보와, 팩트 체크를 전문으로 하는 웹사이트 ‘폴리티팩트닷컴’이 검증한 사실 등이죠. 또, 주어와 동사, 목적어를 인식하는 자연어 처리 알고리즘을 이용해 주어진 문장을 질문으로 바꾼 뒤, 이를 검색엔진인 ‘울프람 알파’와 구글에 보냅니다. CNN 등 신뢰할 만한 웹사이트에서 비슷한 문장을 찾아 보여주기도 하죠.

“한국의 대통령은 박근혜이다(The president of South Korea is Park Geun-hye)”라고 입력해 봤습니다. “박근혜가 누구지(Who is Park Geun-hye)?”, “한국의 대통령은 무엇이지(What is the president of South Korea)?”라고 두 개의 질문을 만들었네요. 그리고는 구글에서 위키피디아의 박근혜 항목을, 울프람 알파에서는 놀랍게도(!) ‘황교안’을 찾아냈습니다. 처음에 입력한 문장은 ‘확정할 수 없는(indeterminable)’이라고 판단했네요. 흠, 꽤 하는데요?

리 교수는 “향후 전체 웹페이지와 모든 종류의 소셜미 디어도 검증할 수 있도록 시스템을 확장할 것”이라고 말했습니다. 구글이나 언론사들이 사실로 검증한 데이터를 빠른 속도로 쌓고 있다는 점을 고려하면, 클레임버스터는 더욱 강력해질 일만 남았습니다.

클레임버스터가 문장의 요소를 하나하나 뜯어서 확인한다면, 가짜 뉴스가 갖춘 공통의 특성을 토대로 루머를 걸러내는 인공지능도 있습니다. KAIST 문화기술대학원 차미영 교수와 권세정 연구원, 정교민 서울대 전기정보공학부 교수팀은 트위터와 유명 루머 아카이브의 데이터를 토대로 루머가 전파되는 양상을 56일간 관찰해 특성을 파악했습니다. 그리고는 이를 토대로 루머를 잡는 알고리즘을 개발해 학술지 ‘플로스원’ 1월 12일자에 발표했습니다.

연구팀이 파악한 특성은 크게 세 가지입니다. 먼저 정보를 퍼뜨리는 사용자가 달랐습니다. 루머는 온라인상 친구가 적은 사용자가 주로 전파를 시작했습니다. 연구팀은 논문에서 “자극적인 루머는 호기심을 불러 일으키기 때문에 비 유명인이 관심을 끌기 위해 전파하는 반면 전파자의 명성이 훼손될 수 있기 때문에 유명인은 전파에 참여하지 않는 것으로 보인다”고 해석했습니다.

루머는 쓰이는 언어도 달랐습니다. 은연중에 정보의 진위 여부가 불확실하다고 표현한 사례가 많았죠. ‘어쩌면’, ‘아마도’ 등입니다. 또 친구나 가족, 지인 등 오프라인 관계를 정보원으로 언급했습니다. 동사도 달랐는데요, 일반 정보는 ‘읽었다’, ‘확인했다’ 등으로 쓴 반면 루머는 ‘들었다’라고 언급한 경우가 월등히 많았습니다. 일본의 방사능 검출이 한창 논란일 때 “제 친구가 일본 여행을 다녀왔는데 갑자기 생리가 멈췄대요”하는 루머, 한 번쯤 보신 적 있으시죠? 루머 특유의 언어 특성이 고루 나타납니다.

정보가 퍼지는 모양도 달랐습니다. 루머는 일반 정보보다 훨씬 긴 시간 동안 전파했습니다. 일반 정보는 세상에 나왔을 때 모두가 한꺼번에 이야기하고 일정 시간이 지나면 아무도 얘기하지 않은 반면, 루머는 마치 파도처럼 지속적이고 불규칙적으로 언급됐죠.

연구팀은 트위터에 떠도는 정보 각각의 전파 경로도 추적했습니다. 트위터 사용자 A가 게시한 사건을 A의 팔로 워, 즉 A의 게시물을 받아 보는 사용자인 B가 적절한 키워드를 언급하며 뒤따라 게시한 경우, 정보가 A에서 B로 전파됐다고 정의했습니다. 분석 결과, 일반 정보는 특정 인물이 언급할 경우 친구 관계를 통해 여러 단계로 폭넓게 확산된 반면 루머는 전파 경로가 툭툭 끊기는 모양새가 나타났죠. 트위터 친구들이 루머 전파에 참여하지 않았다는 뜻입니다.

연구팀은 이렇게 알게 된 특성을 활용해서 루머를 판별하는 알고리즘을 개발했습니다. 실험 결과, 루머가 확산되기 시작한 초기에는 사용자의 특성을 활용하는게 검출 확률이 높았고, 1시간 이상 흐른 뒤에는 전파 특성을 활용하는 게 효과적이었습니다.


첫 걸음마 떼는 한국… 데이터 확보부터
한국에는 아직 자동화된 팩트 체크 기술이 없습니다. 가장 큰 문제는 정보가 유통되는 채널입니다. 미국과 달리 한국은 주요 포털 사이트와 개인 메신저를 통해 정보가 유통되는데, 포털 업체는 정보를 공개하지 않고 개인 메신저의 정보는 수집하기가 불가능하죠. 인터넷 신조어 사전도 없습니다. 이준환 서울대 언론정보학과 교수는 “팩트 체크 인공지능 기술은 주로 데이터 수집이 용이한 트위터를 대상으로 연구가 많이 돼 왔다”며 “그러나 국내는 정제된 데이터를 구하기가 너무 어렵다. 데이터 확보가 시급한 상황”이라고 말했습니다.

서울대 언론정보연구소가 시작한 팩트 체크 서비스.
여러 언론사가 협업하는 모델이다.
향후 한국어 팩트 체크 인공지능을 개발하는 데 이 데이터를 활용할 수 있다.
 

다행히 첫 발걸음은 뗀 상황입니다. 한국언론진흥재단이 운영하는 ‘빅카인즈(bigkinds.or.kr)’는 주요 언론사 기사들의 유사성을 확인해 네트워크를 구성하는 알고리즘이고요, 서울대 언론정보연구소가 시작한 서비스 (factcheck.snu.ac.kr)는 언론사들이 협업해 주요 정치인의 발언을 팩트 체크해 게시합니다. 집단지성을 활용하는 방법도 있습니다. 이 교수는 내용이 가짜인 특정 링크를 신고하게 하는 기능을 웹브라우저에 추가하는 방법을 연구 중입니다.

완전 자동화된 팩트 체크 기술이 위험하다는 의견도 있습니다. 이상욱 한양대 철학과 교수는 “우리가 사실이 라고 말하는 것은 여러 종류의 관련 증거에 입각해 가장 합리적으로 믿을 만한 내용이라는 ‘판단 사실’에 가까운 데, 인공지능은 판단 사실을 마치 실재 사실인 것처럼 오도하기 쉽다”며 “대부분의 (인간) 전문가도 오도할 수 있는 내용이지만, 인공지능에 대한 사람들의 맹신을 고려하면 더욱 위험할 수 있다”고 말했습니다.