인공지능(AI)이 글을 잘못 요약해서 난감했던 경험이 있니? 이 문제를 해결하기 위한 새로운 AI 알고리즘이 등장해 일리가 직접 만나고 왔어. AI와의 인터뷰를 소개할게.
Q.안녕, 자기소개 부탁해.
나는 문장을 요약하는 AI 알고리즘이야. 텍스트를 인식하고, 대답하는 생성형 AI가 사실이 아닌 내용을 그럴듯하게 지어내는 게 요즘 문제가 되고 있어. 특정 글을 요약할 때, 기존 글에 없는 내용을 담는 게 대표적인 예지. 이런 문제를 해결하기 위해 미국 뉴욕대학교 쿠랑수학연구소 연구팀은 새들이 나는 행동에 영감을 받아 새로운 AI 알고리즘을 개발해 국제 학술지 ‘프론티어스 인공지능’에 지난 3월 17일 공개했어.
Q.새가 나는 모습을 어떻게 참고한 거야?
새가 떼를 지어 날 때는 마치 하나의 생명체처럼 일사불란하게 움직이면서 날아. 새들은 주변에 있는 새들과 서로 비슷하게 움직여. 가까이서 날면서 방향을 맞추고, 그중 리더인 새를 중심으로 삼아 따라가지. 연구팀은 글을 하나의 새 떼로 봤어. 그리고 한 문장을 한 마리의 새로 생각했지. 그다음 문장의 내용, 중심 주제, 주제와의 관련성을 기준으로 문장을 평가하고, 새 떼가 나는 방식처럼 문장을 묶어서 글을 요약했어.
Q.그 방식에 대해 자세히 설명해 줄래?
먼저 글에 나오는 모든 문장을 중요도에 따라 점수로 매겼어. 문장들 중에 비슷한 문장은 하나로 묶어서 평가했어. 예를 들어 표현은 다르지만 내용이 비슷한 문장이 있으면 가장 높은 점수가 매겨진 문장만 남기는 거야. 그런 다음, 문장들과 글 전체 중심 주제와의 관련성을 따져서 또 다시 점수를 매겼어. 낮은 점수가 매겨진 문장들은 요약문에서 뺐지. 높은 점수가 매겨진 문장들만 순서대로 남기면 글 요약이 완성되는 거야.
Q.이 방식이 문제를 해결할 수 있었어?
연구팀은 나에게 9069개의 문서를 요약하도록 하고, 챗GPT-4와 같은 생성형 AI를 단독으로 사용했을 때와의 성능과 비교했어. 사람이 미리 만들어 둔 정답과 AI가 만든 요약문이 얼마나 비슷한지를 봤지. 비교 결과, 챗GPT-4를 단독으로 썼을 때보다 나를 함께 썼을 때 정답과 겹치는 핵심 단어 비율이 7.29% 더 높았어. 연구팀은 “AI가 쓴 거짓말을 찾아내기 위해 내용을 일일이 검토하지 않아도 된다”고 평가했단다.
