인공지능(AI) 언어모델을 쓰면서 가장 불편한 순간은 틀린 답을 확신에 찬 말투로 내놓을 때다. 이른바 ‘AI 환각(할루시네이션·hallucination)’ 현상이다. 그동안 과학자들은 이 문제를 AI의 숙명처럼 여겨왔다. AI가 아무리 발전해도 세상의 모든 지식을 아는 건 아니므로, 엉뚱한 답을 내놓는 건 어쩔 수 없다는 식이다. 그런데 최근에 다른 관점이 제기되고 있다. 지식이 없어서가 아니라, ‘모른다고 말할 수 없어서’ 틀린다는 것이다. 이런 관점은 AI 환각의 원인에 대한 근본적 질문을 던진다. AI에게 진실보다 확신을 가르친 건 누구인가?

문맥의 확률이 만든 그럴듯한 거짓

AI는 왜 ‘모른다’고 말하지 못할까? 첫 번째 이유는 사전학습 방식이다. AI 언어모델은 ‘정답’을 배우지 않는다. 대신 지금까지 인류가 생산한 방대한 텍스트 속에서, 어느 단어 다음에 나올 단어의 확률을 계산하며 문장을 완성하도록 학습한다. ‘하늘은’이란 단어 뒤에 ‘파랗다’가 올 확률이 높다고 계산하는 식이다. 이 과정에서 문제가 생긴다.

AI는 문장을 생성할 때에 문맥의 자연스러움을 최우선으로 삼고, 그 문장이 사실인지 아닌지는 따로 확인하지 않는다. 이 때문에 읽기에 매끄럽지만 실제로는 사실과 다를 수 있는 문장, 즉 ‘그럴듯한 거짓’이 만들어진다.

이와 같은 AI 환각은 AI의 의도적인 왜곡이 아니라, 확률적으로 자연스러운 문장을 예측하는 과정에서 생겨난 부작용이다. AI가 진실을 보장하기보다는 자연스러움을 추측하는 방식으로 학습된 결과, 표현이 매끄럽기 때문에 진실처럼 보이는 환각을 만들어낼 수 있다.

2024년에 오픈AI 연구팀이 이 구조적인 문제를 수학적으로 증명했다. doi: 10.1145/3618260.3649777 이 증명의 핵심은 AI 언어모델이 확률적 예측에 기반해 작동하는 한, 일정 비율의 오류는 피할 수 없다는 것이다. 따라서 생성 AI가 환각 현상을 일으키는 근본적인 원인은 AI가 자신이 모르는 정보가 무엇인지를 알아차리지 못한다는 데 있다.

챗GPT에게 학습 데이터에 없는 정보를 물으면 어떻게 될까? 예를 들어 챗GPT가 모르는 특정한 논문 저자의 생일을 물을 때도, 챗GPT는 “모릅니다”라고 답하지 않는다. 대신 매끄러운 문장으로 전혀 다른 날짜를 제시하거나, 같은 질문을 물을 때마다 서로 다른 답을 내놓는다. 마치 외국어를 배울 때 “I don’t know”라는 표현을 아예 가르쳐주지 않은 것과 같다.

결과적으로 AI의 확률적 학습 방식이 AI가 내용의 진실성보다 형식적인 자연스러움을 중시하며 작동하도록 만든 것이다. AI는 사실을 이해하기보다는 언어의 패턴과 문맥의 자연스러움에 최적화된 답변을 생성하도록 학습됐기 때문이다.

즉 AI는 의도를 갖고서 거짓을 만들어내는 게 아니라, 문맥상 그럴듯한 답을 예측하는 과정에서 ‘우연한 오류’를 낳는 구조를 갖게 된 셈이다.

▲MidJourney, 라헌

옥장판이 있는 방의 풍경을 스튜디오 지브리의 애니메이션 스타일로 그려달라고 입력하자 생성 AI가 만든 이미지. 생성 AI는 한국 외의 지역에선 잘 알려지지 않은 유사과학 제품인 옥장판에 대한 정보가 부족하다. 그럼에도 옥장판을 그릴 수 없다고 답하는 대신에 억지스러운 이미지를 생성할 수 있다.

AI가 몰라도 ‘모른다’고 말할 수 없는 이유

AI가 사전학습에서 ‘모른다’는 개념 자체를 배우지 못했다면, 사후학습(RLHF)에서 가르치면 되지 않을까? 아이러니하게도 이 단계에서 문제는 더 악화된다. 사후학습 단계에선 인간 평가자가 AI 답변을 채점한다. 예를 들어 “2024년 노벨 문학상 수상자는?”이란 질문에 “한강”이라고 답하면 1점, “무라카미 하루키”는 0점이다. 그런데 AI가 정답을 모르는 경우에 “확실하지 않습니다”라고 정직하게 답해도 역시 0점이다. 사후학습이 반복되면서 문제가 드러난다. 사전학습 데이터가 정답이 맞는지 불확실한 질문 100개에 AI가 전부 “모르겠습니다”라고 답하면 0점이지만, 전부 추측하면? 우연히 일부는 맞아서 평균 15~20점을 받을 수 있다. 오픈AI 연구팀은 2025년 9월 논문 사전공개 사이트에 발표한 후속 연구에서 이런 사후학습 구조가 AI의 틀린 답변을 장려하도록 설계된 사실을 실험으로 입증했다. doi: 10.48550/arXiv.2509.04664 연구진은 이를 추측 보상 편향(guess-reward bias)이라 부른다.

정답 여부만으로 점수를 매기는 과정을 반복하며 AI는 틀릴 가능성이 있어도 주저하지 않고 자신 있게 답하는 법을 배운다. 즉 AI가 추측을 넘어 확신을 학습하게 된다. ‘아마도’ 같은 불확실성 표현은 감점 요인이 되고, ‘~입니다’ 같은 단정적 표현은 더 높은 점수로 이어진다. 침묵은 감점, 추측은 가점, 확신은 더 큰 보상을 받는 법칙이다.

사전학습에서 ‘모른다’를 못 배운 AI가, 사후학습에서는 ‘확신 있게 틀리는 법’을 배운다. 결국 AI의 환각은 불확실성을 용납하지 않는 보상 구조로부터 학습된 확신에서 발생한다.

정답만 요구하는 사후학습의 문제

오픈AI가 2025년 2월 출시한 GPT-4의 사후학습 전후의 오류 보정 곡선. 예상 보정 오류(ECE)는 AI 모델이 예측한 확률과 실제 결과 간의 차이를 측정하는 지표로, AI 모델이 80%의 확률로 정답이라고 예측하고 결과의 80%가 정답이라면 이 모델의 ECE는 0이고 보정이 잘됐다고 평가할 수 있다.
아래 그래프 중 사전학습만 진행한 사후학습 전의 GPT-4는 예측 확률과 실제 정답률의 차이가 0.007에 불과해 잘 보정된 상태인 반면, 사후학습 후엔 이 차이가 0.074로 10배 이상 증가했다. 이는 사후학습을 진행한 GPT-4가, 결과가 불확실한 상황에서도 자신의 예측을 과도하게 확신했음을 의미한다.

▲자료: Kalai, A. T., et al.

‘모를 자유’로 다가가는 AI의 첫 걸음

그렇다면 해결책은 없을까? 오픈AI 연구진이 제시한 방법은, 불확실성 자체를 언어로 표현하도록 가르치는 것이다. 이 방법의 핵심은 간단하다. 모른다는 답이 결함이 아니라 중요한 정보라는 것을, AI와 AI 평가 시스템 모두에게 가르쳐야 한다.

구체적인 방법은 이렇다. AI 언어모델의 학습 방식은 답변을 만들 때, 내부적으로 이미 확률값을 계산하고 있다. ‘이 답이 맞을 확률이 95%인가, 30%인가?’ 같은 식이다. 지금까지는 이 확률값은 무시하고 문맥상 가장 그럴듯한 답을 출력했다면, 새로운 접근법에선 이 확률값을 활용한다. 예를 들어 답변의 내부 확률값이 일정 기준 이하로 떨어지면, “정보가 불충분합니다” 또는 “이 주제에 대한 데이터가 부족합니다”라는 문장을 출력하도록 하는 것이다.

더 나아가 일부 모델에서는 답변과 신뢰도 점수를 함께 제시한다. “답변: 한강입니다(신뢰도: 95%)” 또는 “답변: 무라카미 하루키일 것으로 추정됩니다(신뢰도: 40%)” 같은 식이다. 사용자는 이 신뢰도를 보고 AI 답변을 얼마나 믿을지 스스로 판단할 수 있다.

이와 함께 평가 시스템도 바뀌어야 한다. ‘정답 개수’만 세는 방식에서 벗어나, ‘모를 때 침묵할 수 있는 판단력’도 인정하는 방식으로 말이다. 최근 AI 연구에서는 틀린 추측보다 정직한 침묵에 더 높은 점수를 주는 평가 방식을 실험하고 있다. 추측 보상 편향을 뒤집는 시도다.

구글의 제미니와 앤트로픽의 클로드는 불확실성 표현을 강화하는 방향으로 움직이고 있다. 이 AI들의 공식 문서에는 “모델이 ‘모르겠다’고 답할 수 있습니다”란 안내가 있다. 구글 딥마인드와 메타는 한 발 더 나아간다. 이들이 실험 중인 모델은 신뢰도 점수를 제공하는 것을 넘어, 답변의 확신이 낮을 때 그 이유까지 설명한다. “여러 출처에서 이렇게 나오지만, 최근 업데이트된 정보는 확인하지 못했습니다” 또는 “A와 B 자료는 이를 지지하지만, C 자료에는 다른 내용이 있습니다” 같은 식이다. 답의 내용뿐 아니라 그 답이 얼마나 믿을 만한지, 무엇이 불확실한지까지 투명하게 보여준다.

그 결과 AI 대형언어모델(LLM)의 환각 발생률을 평가하는 공개 AI 벤치마크인 벡타라(Vectara) 환각 순위의 2025년 4월 발표에 따르면, 구글 제미니 2.0은 0.7%, 오픈AI o3-미니-하이는 0.8%를 기록했다. 2023년 말, 가장 우수한 성능을 기록한 GPT-4의 환각 발생률이 3%였던 데 비해, 약 1년반 만에 가장 우수한 AI 모델의 환각 발생률이 4분의 1 수준으로 떨어진 것이다.

▲동아DB

2025년 10월 30일 서울 강남구 코엑스를 방문해 인터뷰 중인 젠슨 황 엔비디아 최고경영자. 그래픽처리장치(GPU)와 인공지능(AI) 인프라 분야를 선도하는 세계적 기업인 엔비디아는 네모 가드레일 등 AI 환각 현상을 완화하는 소프트웨어, 기술 개발도 진행 중이다.

자신 없어 보이는 AI와 살아가기

그동안 AI 언어모델은 자신이 모르는 상황을 직면할 수 없는 구조에 처해왔다. AI에게 필요한 건, 더 많은 데이터가 아니라 “모른다”고 말할 자유다. 확신이 아닌 불확실성을 정보로 다루는 이 구조적 변화가 AI를 진정한 지능으로 나아가게 만드는 길이다.

그 여정에서 AI의 환각을 통제하는 마지막 알고리즘은, 그것을 해석하는 인간의 주의력이다. 우사마 파이야드 미국 노스이스턴대 인공지능응용연구소 소장은 대학의 공식 뉴스 채널에서 “‘환각’이라는 말을 쓸 때, 모델에게 지나치게 많은 것을 덧붙이고 있는 셈이다. 의도와 의식도 있는 것처럼 말이다”라고 말한 바 있다.

이는 AI가 인간처럼 사고하길 기대할 수는 없다는 의미다. AI의 한계는 기술의 결함이 아니라, 우리가 그것을 어디까지 신뢰하고 책임질 수 있느냐의 문제로 바라봐야 한다. 결국 AI 환각 또한 인간이 이해하고 확인하며 감당해야 할 영역이다.

AI는 여전히 확률의 언어로 세상을 설명한다. 따라서 AI의 답변을 대하는 태도는 위키피디아나 네이버 지식인, 구글링을 대하는 태도와 비슷해야 한다. 빠르게 정보를 줄 수는 있지만, 그 자체로 권위를 갖는 것은 아니다. 특히 건강, 법률, 금융처럼 중요한 영역에서는 AI를 브레인스토밍 도구 정도로만 활용하고, 실제 결정은 검증된 자료를 토대로 내려야 한다.

역설적이게도 가장 믿을 만한 AI는 자신 없어 보이는 AI다. “정확한 답을 모르겠습니다”라고 솔직하게 말하는 모델이, 틀린 정보를 그럴듯하게 포장해서 환각을 일으키는 모델보다 훨씬 신뢰할 만하다는 점을 인식해야 한다. 이제는 사용하는 AI 모델의 불확실성 응답이 강화됐는지 검토하고, 신뢰 점수, 추가 근거, 맥락 설명 기능을 활용해 정확도를 확인할 필요가 있다.