‘용의자 X의 헌신’이라는 소설과 영화가 유행하던 때, 과학동아에도 ‘용의자 X의 수학’이라는 기사가 실렸다(2013년 2월). 수학의 난제를 소재로 한 작품이었기에 이 기회에 수학 난제의 역사를 소개하고 대표적인 난제를 모아본 글이었다. 이 때 디자인이 끝난 기사를 보며 편집부에서 기자들이 했던 말이 있다.
“난제는 문제 자체를 이해하는 것도 어려워.”
그도 그럴 것이 제목도 어렵고 내용 설명도 어려웠다. 유명한 ‘새천년 상 문제’ 중 하나인 ‘호지 추측(가설)’을 위키피디아에서 찾아보자. “특이점이 아닌 복소 대수다양체의 대수적 위상에 관한 문제로, 가설의 개요는 드람 코호몰로지 모임들이 대수적이라는 것이다….”
그런데 불과 두 달 뒤인 4월, 국내 교수가 새천년 상 문제 중하나를 풀었다고 발표해 국내를 떠들썩하게 했다. ‘양-밀스 질량간극 가설’을 해결했다는 것인데, 기자들은 해결했다는 내용은 둘째치고 문제 자체를 이해하는 데에도 애를 먹었다. 이 문제는 수학 문제지만 내용은 입자물리학에 관한 것이라, 수학자에게 물으면 물리학자에게 물으라 하고 물리학자에게 물으면 수학자에게 물으라고 하는 황당한 일도 벌어졌다. 그 때 간절히 바란게 있다. ‘난제를 일반인도 알기 쉽게 풀어준 책이라도 한 권 있었으면.’
뒤늦게나마 그런 책이 한 권 나왔다. 대중 수학서를 여럿 쓴 영국의 수학자이자 과학저술가인 이언 스튜어트의 책 ‘위대한 수학문제들’이다. 여기에는 소수와 관련된 골드바흐 추측과 파이와 관련된 원적 문제, 지도에 색을 칠하는 4색 정리 등 학교에서도 들어봤음직한 낯익은 난제부터, 앞서 소개한 질량간극 가설, 호지 추측, 나비에-스토크스 방정식 등 제목도 어지러운 문제까지 14가지 위대한 수학 문제들이 자세히 소개돼 있다.
얼른 질량간극 가설 부분을 펼쳐 읽었다. 입자물리학에 대한 글이라면 적지 않게 읽어봤지만, 서술하는 내용이 결코 쉽지는 않다. 하지만 양자역학이 양자장 이론을 거쳐색역학으로 나아가는 흐름이 속도감 있게 잘 요약돼 있다는 사실은 알 수 있었다. 그런데 결정적으로 안타까운 부분이 있었다. 질량간극 가설이 등장하는 부분이 마지막에 나오는데, 아름다울 정도로 빛나야 할 그 부분이 너무 간략하게 설명돼 있어 궁금함을 확실하게 푸는 데엔 실패한 것이다. 질량간극 가설이 등장하기 직전까지 배경을 설명하며 신나게 달리다가 갑자기 멀리뛰기를 하면서 난제의 정의로 곧바로 순간이동을 한 느낌이다.
물론 모든 부분이 이런 건 아니다. 케플러의 추측은 전후로 배경 설명이 길지만, ‘귤상자에 귤을 가장 많이 담는 배열에 관한 것’이라는 설명이 분명하게 제시돼 있다. 하지만 대체로 대부분의 장에서 질문 자체를 이해하기 위해 길고 어려운 여행을 해야 한다. 막상 나온 난제 자체에 대한 설명도 생각보다는 쉽지 않다. 읽다 보면 미궁에 갇힌 느낌이 든다. 이런 점이 불만스러울까. 생각해보면 당연하다는 생각이 든다. 대상은 전세계 수학자들이 수백 년씩 붙들고 씨름 중인 ‘난제’, 위대한 문제 아니던가.
난제는 어려워서 난제다. 난제를 쉽게 이해할 거라 기대했다면 난제를 무시한 거다. 그걸 떠먹여주듯 알려주는 책이 나올 거라고 믿는다면 도둑 심보다. 그렇게 쉬웠으면 그 많은 수학자들이 뭐하러 월급 받아가며 수학을 연구하고 가르치고 있을까. 이런 책이 나온 건 그래서 다행이다. 난제와 거기에 도전하는 수학자의 위대함을 보여준다. 난제에 걸맞는 정신적 지불을 할 용의가 있는 사람이라면 호기롭게 도전해볼 만하다. 수학자 가운데 가장 대중서를 잘 쓴다는 이언 스튜어트니까 말이다.