d라이브러리

영화 주인공이 풀지 못한 300년의 수학 난제
사실 이 영화는 수학적 논리로 전개되는 추리영화라기보다는 순수하고 외골수인 수학자가 사랑하는 이를 위해 완전한 희생을 바치는 멜로 이야기다. 그럼에도 영화를 보면 석고가 어릴 적부터 매달렸던 300년 미해결의 수학문제 ‘골드바흐 추측’이 자연스레 궁금해진다.

이것이 바로 독일 수학자 골드바흐(Goldbuch)가 1742년 당대 최고 수학자 오일러에게 보낸 편지에서 제안한 가설이다. 몇 가지 짝수는 분명 소수 두 개의 합이다. 예를 들어 보자.

문제는 수가 커졌을 때다. 아무리 슈퍼컴퓨터가 있어도 수가 커지면 우선 소수를 다루는 것이 어렵다. 아주 큰 짝수가 소수 두개의 합이라는 것을 증명했다고 해도 이것이 일반적인 증명은 아니다. 영화 대사처럼 사실이라는 심증만 더해질 뿐이다. 참고로 현재까지 4x1018의 수까지만 골드바흐의 가설이 사실임이 확인되었다.



수학은 난제 풀기의 역사
이 영화를 수학의 관점에서 보자면 한마디로 ‘난제를 푸는 것’이다. 즉 수학적인 난제처럼 보이는 알리바이를 만들어 놓고 이를 형사가 풀지 못하게 하는 것이다. 스포일러를 살짝 섞으면 엉뚱하게 풀게 하는 것이다.

이쯤 되면 유명한 ‘페르마의 마지막 정리’를 떠올리는 사람이 많을 것이다. 수학자 페르마는 노트 여백에 문제와 ‘이 문제를 해결했지만 적을 공간이 없다’는 말을 남기고 아쉽게 죽는다. 수많은 수학자들이 그 문제에 도전했으나 400년 동안 실패했고 마침내 1997년 수학자 앤드루 와일스가 이 문제를 풀었다. 마치 페르마가 일부러 풀 수 없는 난제를 만들어 놓고 후배 수학자들을 약올린 것 같다.

하지만 수학자들이 의도적으로 아무도 풀지 못하는 난제를 만드는 것은 아니다. 수학자들이 연구를 하다 보면 ‘심증적으로 사실인 것 같은’ 도전적 이론(theory)이나 난제를 만들게 된다. ‘심증적으로 사실’이라고 한 것은 감정적으로 그렇게 생각한다는 것이 아니라 수학적 논리로 생각해 봤을 때 아직 증명은 할 수 없지만 사실로 믿어지는 것을 뜻한다.

영화에서도 이런 갈등이 드러난다. 형사(조진웅)는 직업적 감각으로 용의자를 알아낸다. 하지만 객관적 증거가 없다. 증거가 없으면 아무리 심증이 강해도 용의자를 검거할 수 없다. 내게는 형사의 고뇌와 골드바흐 가설을 풀려했던 주인공 석고의 고뇌가 상통하는 것처럼 보았다. 골드바흐 가설은 실험적으로 확인해보면 심증으론 맞다고 느껴진다. 하지만 300년이 지난 지금에도 완벽한 답을 줄 수 없어 증명할 수는 없다.

다시 수학 난제의 역사를 보자. 수학의 명장 힐버트가 1900년 프랑스 파리에서 열린 세계 수학자 대회에서 세기를 선도할 수학문제 23가지를 제시한다. 이후 약 100년 동안 힐버트의 문제는 과학과 수학의 획기적인 발전을이끌었다. 지금까지 23개 문제 중 18개가 해결됐다.

이후 수학 난제를 발표하는 일이 종종 있었는데 가장 유명한 것은 ‘클레이 새천년 문제(Clay Millenium problem)’일 것이다. 2000년 5월 미국 클레이수학연구소는 각각 100만 달러가 걸린 7가지 수학 난제를 파리에서 공표한다. 공모기간은 무제한이다.



전자암호를 열쇠 없이 풀 수 있을까
그럼 클레이의 7가지 난제는 무엇일까. 바로 버츠와 스위너톤-다이어 추측, 호지 가설, 나비어-스톡스 방정식, P대 NP문제, 2005년 해결된 푸앙카레 가설, 리만 가설, 그리고 양-밀스 이론이다(http://www.claymath.org/millennium에서 볼 수 있음). 이 중 프랑스 수학자 푸앙카레가 만든 ‘푸앙카레 가설’은 2005년 러시아 수학자 펠레만이 해결했다. 펠레만은 이 문제를 풀고 수학 분야 노벨상으로 불리는 필즈상을 받았지만 수상도 거부하고 아직도 어머니와 은둔 생활을 하고 있다.

클레이의 7가지 난제 중 하나가 ‘용의자X’에도 등장한다. 원작 소설에 더 명확히 나오는데 ’P 대 NP’문제다. 주인공 수학 교사(소설에서는 ‘이시가미’ 라는 이름이다)는 자신의 범행을 눈치챈 형사에게 이런 말을 한다.

말장난 같지만 사실은 가장 어려운 수학 문제다. 다른 수학 문제가 수학이나 자연을 연구하다 나왔다면 P대 NP 문제는 컴퓨터 알고리즘에 관한 것이다. 이 문제는 다음과 같은 질문에서 나왔다.

즉 힌트가 있으면 쉽게 답을 확인할 수 있지만 힌트가 없으면 답을 찾는데 많은 시간이 걸리는 문제가 있다. 두 경우가 실제로는 같은 어려움을 갖고 있는지 아닌지 밝히는 것이 P대 NP 문제다. P가 쉬운 문제고, NP는 오래 걸리는 문제다.

예를 들어 3000쪽 분량의 전화번호부에 가 나 다 순서로 이름과 전화번호가 적혀 있다고 하자. 전화번호 a를 주고 그 번호를 갖고 있는 사람 이름을 말해보라고 하면 전화번호부를 다 뒤져 봐야 한다. 하지만 사람이름을 알고 있다면 그가 정말 그 번호를 갖고 있는지 쉽게 확인할 수 있다. 그런데 힌트가 있는 문제가 쉽다면(P) 혹시 힌트가 없어도(NP) 쉬운 건 아닐까. 즉 P는 NP일까.

이게 무슨 문제냐 싶겠지만 ‘P와 NP’의 문제는 세일즈맨이나 소인수분해문제 등에 적용할 수 있다. 또 소인수분해를 이용한 전자암호에 이용된다. 전자암호는 열쇠를 갖고 있으면 풀기 쉽다. 그런데 P가 NP라면 열쇠가 없어도 풀기 쉽게 된다. 즉 전자암호가 쉽게 풀리게 된다. 아직까지는 P는 NP가 아니기 때문에 전자암호는 쉽게 풀 수 없다고 생각한다. 그러나 수학적으로 완전히 증명된 것은 아니다(참고로 전자암호는 풀기 불가능한 것이 아니라 너무 시간이 오래 걸려 풀기 어려운 것이다).

영화 용의자X에 나온 수학자는 본인이 풀어야 할 문제를 풀지 못해 세상에 대해 좌절하는 매우 어둡고 집착성의 외톨이로 비쳐져 있다. 과연 영화에서 보여주는 모습이 보편적인 수학자의 모습일까? 물론 어떤 일에 몰두하게 되면 일상에는 관심을 덜 갖게 된다. 이것은 수학자뿐 아니라 모든 분야의 전문가도 마찬가지다. 수학자들도 유쾌하고 사람들과 친하다.

수학의 난제에 도전하는 것은 산에 오르는 것과 같다. 아무도 올라가보지 못한 정상에 올라갈 때는 어느 길로 가야 하는지도 모르지만 도전하면서 새로운 길을 만들어 나간다. 또 아름다운 자연을 즐기다가 동무도 만나게 된다. 정상을 목표로 산행을 시작했지만 모든 이가 정상에 도달하는 것은 아니다. 그렇다고 산행이 의미가 없는 일도 아니다.

수학적인 이론을 세우는 것도 이런 것이다. 정상을 향한 설레임으로 학문의 즐거움을 맛볼 수 있다면 정상으로 향하는 길이 외롭고 어두운 길만은 아니다. 대부분의 수학자들은 이런 설레임을 안고 늦은 밤에도 책상 앞에 앉아 있다.