100만 달러(약 13억 6000만 원)의 상금이 걸린 수학 문제를 인공지능(AI)이 해결했다는 주장이 나왔어요. 물이나 공기의 움직임을 설명하는 ‘나비에-스토크스 방정식’과 관련된 문제예요. 최근 AI는 수학자가 오랫동안 풀지 못한 난제에도 잇따라 도전하고 있어요. AI가 수학 난제까지 푸는 시대, 우리는 AI를 어떻게 활용해야 할까요?

 

 

9월 8일 챗GPT를 만든 오픈AI는 자사 AI 모델이 나비에-스토크스 방정식과 관련된 난제를 88시간 만에 해결했다고 발표했어요. 나비에-스토크스 방정식은 물이나 공기 같은 유체의 움직임을 설명하는 방정식이에요. 유체는 액체나 기체처럼 힘을 받으면 쉽게 변형되며 흐르는 물질을 말해요.

수학에서는 유체의 속도와 압력 등이 갑자기 크게 변하지 않고 자연스럽게 이어지는 상태를 ‘매끄럽다’고 해요. 이런 매끄러운 상태가 깨지는 경우를 ‘특이점’이라고 하지요. 이번 문제에서는 유체의 속도가 유한한 시간 안에 한없이 커지는 특이점이 생길 수 있는지가 핵심이에요.

 수학자들은 나비에-스토크스 방정식으로 유체의 흐름을 계산했을 때 흐름이 끝까지 매끄럽게 이어지는지, 아니면 특이점이 생길 수 있는지 연구하고 있어요. 2000년 미국의 비영리 수학 연구기관인 클레이 수학연구소는 이 문제를 수학계의 7대 난제인 밀레니엄 문제 중 하나로 선정했어요.

최근 오픈AI는 특정한 외부 힘을 가한 유체에서 특이점이 생기는 사례를 찾았다고 발표했어요.

 

해법의 핵심에는 소용돌이가 있어요. AI는 멈춰 있는 가상의 유체에 힘을 가해 소용돌이가 생기게 했어요. 유체가 안으로 말려 들어가면서 소용돌이는 점점 가늘고 길어졌어요. 오픈AI는 이 과정에서 소용돌이 일부가 점점 빨라져 유체의 속도가 유한한 시간 안에 한없이 커지는 사례가 생겼다고 설명했어요. 

오픈AI에 따르면 약 1만 개의 AI 에이전트●가 문제를 풀었고 1300억 개의 출력 토큰●이 쓰였어요.

AI가 내놓은 답이 정말 맞을까요? 9월 11일 클레이수학연구소는 성명을 통해 나비에-스토크스 문제가 해결된 것으로 보인다는 소식을 전했어요. 공식 검증과 상금 수여 절차는 아직 남아 있어요.

 

 

 

AI가 밀레니엄 문제의 해법을 내놓는 과정에서는 연구 윤리를 둘러싼 논쟁도 벌어졌어요. 트리스탄 벅마스터 미국 뉴욕대 교수와 레벤트 알푀게 앤스로픽 연구원도 AI를 활용해 나비에-스토크스 문제와 관련된 연구를 진행하고 있었어요. 두 연구자의 연구 내용이 오픈AI의 해법에 영향을 줬는지를 두고 논쟁이 시작됐지요.

벅마스터 교수는 9월 8일 성명서에서 “오픈AI가 해법을 발표하기 며칠 전 우리의 연구 진행 상황이 오픈AI로 넘어갔다는 제보를 받았다”며 “연구 데이터를 AI 모델이 학습했을 가능성을 오픈AI에 물었지만 답변을 듣지 못했다”고 밝혔어요. 

반면 오픈AI는 “벅마스터 교수팀의 연구 자료를 이번 해법에 사용하지 않았으며 두 연구의 결과도 다르다”고 밝혔어요.

AI 기업들이 수학 난제를 얼마나 빨리 푸는지를 경쟁하듯 내세우자 수학계의 우려도 커지고 있어요. 9월 11일에는 수학계의 노벨상으로 불리는 필즈상 수상자 25명이 공동성명을 발표했어요. 허준이 미국 프린스턴대 교수와 테렌스 타오 미국 로스앤젤레스 캘리포니아대 교수 등이 참여했지요. 

필즈상 수상자들은 수학의 목표가 문제의 답을 얻는 데만 있지 않으며, 새로운 개념과 방법을 이해하고 다른 수학자와 공유하는 과정도 중요하다고 강조했어요. AI가 해법을 너무 빠르게 쏟아내면 새로운 아이디어를 충분히 이해하고 기존 연구와 연결하는 과정이 약해질 수 있다는 거예요.

 

정인지 고등과학원 교수도 “수학의 목적은 인류가 수학 개념을 이해하고 활용할 가능성을 찾는 것”이라고 말했어요. 또 “수학자는 자신의 증명이 쉽게 이해되도록 쓰는 데 몇 달 이상을 들이지만 AI는 그렇지 않다”고 지적했지요.

AI를 사용하지 말아야 한다는 뜻은 아니에요. 김상현 고등과학원 교수는 “AI는 뛰어난 기억력과 폭넓은 지식으로 인간 수학자가 생각지 못한 방식을 제시하는 도구가 될 수 있다”고 말했어요.

수학자들은 AI를 올바르게 활용할 원칙도 만들고 있어요. 2026년 6월 발표된 ‘AI와 수학에 관한 라이덴 선언’은 AI를 연구에 사용했다면 어떻게 사용했는지 밝히고, AI가 만든 결과가 정확한지는 사람이 책임지고 검증해야 한다고 주장해요. 선언을 이끈 짐 포르테히스 네덜란드 에인트호번공대 교수는 “AI가 수학에 해를 끼치기보다 유익한 결과를 가져올 수 있도록 해야 한다”고 강조했어요.