350여 년 동안 미해결 난제로 남아 수학자들을 괴롭히던 난제 중의 난제인 ‘페르마의 마지막 문제’를 해결한 것은 수학분야에서 20세기 최고의 업적으로 거론된다. 그 해결의 주인공인 불세출의 수학자 앤드루 와일즈는 1953년 영국 케임브릿지에서 태어나 올해 회갑을 맞았다. 앤드루 와일즈는 어떻게 페르마의 마지막 문제를 해결했을까?
난제와 수학발전의 방식미국의 유명한 과학철학자인 토마스 쿤은 ‘과학의 진보는 연속적인 향상의 과정이 아니라, 큰 틀의 발전과 작은 틈새를 매우는 정상과학기로 구분된다’고 주장했다. 이 말은 세계관의 변화를 유발하는 중요한 화두가 오랜 노력으로 해결되면 새로운 패러다임이 형성되고, 이후 구체적인 문제들에 적용되면서 향상의 과정을 거친다는 뜻이다. 이러한 시각으로 보면, 뉴턴역학의 출현이나 양자역학의 도래를 새로운 패러다임의 출현으로 볼 수 있다.
이를 수학에 적용하면 어떨까? 수학에서는 주요 난제가 이러한 주된 변화와 발전의 요인이 된다. 오랜 세월 풀리지 않고 사람들을 괴롭혀온 난제가 수학에는 여럿 있다. 그 중 ‘페르마의 마지막 문제’는 무려 350년 동안 수학자들을 괴롭히다가 1990년대 중반에서야 풀렸다. 또 100년 동안 미해결 난제였던 푸앵카레 추론은 2000년대 초에 페렐만에 의해 풀렸다.
하지만 이런 경우는 정말 운이 좋은 경우에 속한다. 수학사를 들여다보면 난제에 몰입하던 재능 있는 수학자가 결국 문제를 풀지 못하고, 평생 주목할 만한 업적도 내지 못한 사례가 비일비재하기 때문이다.
그럼에도 많은 수학자들은 왜 이런 난제에 몰두할까? 문제가 어려울수록 더 열광하는 것으로 보이기까지 하니, 혹시 난제에 중독성이 있는 게 아닐까? 또한 난제에 도전하다 좌절만 겪느니, 이런 재능 있는 사람은 인류에게 실제로 도움이 될 만한 일에 몰두했어야 하지 않을까? 예를 들어 페르마의 문제를 풀기 위한 많은 사람들의 노력은 인류에게 무슨 도움이 된 것일까?
그 답은 간단하다. 페르마의 문제가 설사 안 풀렸다 하더라도, 수백 년의 노력은 그 가치가 충분하다. 그 과정에서 기대하지 못했던 새로운 수학이론들이 출현했고, 세상과 우주에 대한 이해의 폭도 넓어졌기 때문이다.
게다가 이 경우는 예상 못했던 부산물도 대단하다. 페르마의 마지막 문제를 푸는 과정에서 타원곡선이론을 사용해서 암호를 만들 수 있다는 것이 알려져, 인터넷 상거래에서 쓰이는 공개키 암호에 사용되기 시작한 것이다. 버스나 지하철을 탈 때 쓰는 교통카드에도 바로 이 타원곡선암호가 쓰인다.
이밖에도 난제를 해결하기 위한 노력 와중에 새로운 수학개념이 출현하고, 실생활의 문제에 응용되는 경우는 수학사에서 자주 찾아볼 수 있다.
페르마의 마지막 문제
페르마의 마지막 문제는 페르마의 마지막 정리를 증명하는 것으로, 정리는 다음과 같다.
a, b, c가 0이 아닌 정수이고, n이 2보다 큰 자연수일 때 aⁿ+bⁿ=cⁿ을 만족하는 자연수 a, b, c는 존재하지 않는다.
페르마의 마지막 문제는 원래 x³+y³=z³과 같은 방정식에서 출발했다. x, y, z에 자연수 3개를 대입해서 이 방정식을 만족하도록 할 수 있을까?
이것저것 집어넣어 보면 잘 안 된다는 것을 알 수 있다. 물론, 비슷하게 생긴 방정식인 x²+y²=z²은 분명 된다. x=3, y=4, z=5 등 답은 무수히 많다.
원래 이 문제는 17세기 프랑스 귀족이자 법률가였던 페르마가 여가시간에 디오판토스의 <;산술>;이라는 책을 읽다가, x³+y³=z³과 같은 방정식의 정수해가 존재하는지를 묻는 문제를 떠올리며 시작됐다. 문제의 확장을 고려해 정수해가 존재하지 않는 문제를 생각하던 차에, x³+y³=z³과 같이 세제곱 문제는 정수해가 존재하지 않는 문제라 생각하고 책의 여백에 간단히 써 두었다.
그런데 당대의 내로라하는 수학자들 중 그 누구도 이것을 증명하지 못했다. 페르마가 뭔가 착각에 빠져서 글귀를 남겼을 거라고 추측했을 뿐이다.
그 뒤 300여 년 동안 많은 수학자들이 이 문제를 풀기 위해 도전했다. 수학사에서는 틀린 증명이 발표되는 경우가 자주 있는데, 페르마의 문제는 지금까지 가장 많은 ‘틀린’ 증명이 발표된 문제이다.
1908년 독일의 기업가 볼프스켈은 페르마의 마지막 문제를 위해, 상금을 기탁해 해답을 공모하기도 했었다. 첫 해에만 자그마치 621개의 틀린 문제가 접수되었고, 10년이 넘은 1970년대에도 매달 3~4개의 틀린 증명이 접수되었다. ‘틀린’ 증명이 가장 많이 발표됐다는 불명예를 깨는 것은 쉽지 않을 것 같다.
"8년 동안 페르마의 정리와 가족의 일 외에는 아무 생각도 하지 않았다. 페르마의 정리를 정복하는 것은 나 자신을 정복하는 것과 같았다."
_ 앤드루 와일즈
열 살 소년의 꿈, 이루어지다!
와일즈가 페르마의 문제를 처음 접한 것은 그가 열 살 때, 동네 도서관에서 읽은 책에서였다. 당시 몇주 동안 해결을 위해 몰두하다 실패하자, 그 해결을 평생의 꿈으로 간직하게 되었다고 한다.
이후 와일즈는 케임브릿지 대학원에 진학해 이 문제 연구에 몰두하고자 했지만, 논문 지도교수였던 존 코츠 교수는 이를 만류했다. 진위조차 불분명한 문제를 잡고 있다가 연구결과를 내지 못할까 봐 걱정했던 것이다. 결국 와일즈는 이 문제를 포기하고 정수론 분야의 타원곡선에 관한 연구업적으로 프린스턴대 교수가 된다. 어린 시절의 꿈은 그저 신기루처럼 보일 뿐이었다.
하지만 세상일은 교묘하다. 파울로 코엘료는 그의 책 ‘연금술사’에서, 꿈을 꾸고 그 꿈을 너무나 간절히 바라면 우주가 협력해 그 꿈을 이룬다고 하지 않았던가! 와일즈에게 변화의 순간은 1986년에 찾아왔다. 동료 수학자가 버클리대 리벳 교수의 최근 업적을 설명해 주었는데, 타원곡선에 관한 추론인 ‘타니야마-시무라 추론’만 증명된다면 이로부터 페르마의 마지막 문제도 증명된다는 내용이었다.
와일즈는 일생일대의 환희를 느꼈다. 자신이 바로 타원곡선이론 분야의 세계 최고 전문가였기 때문이다. 신기루와 같고 자신과 관계없어 보이던 페르마의 마지막 문제의 해결에 졸지에 세상에서 가장 근접한 사람이 된 것이다.
그로부터 7년간 그는 두문불출한 채 타니야마-시무라 추론에 매달렸다. 각고의 노력 끝에 그는 1993년 그의 모교인 케임브릿지에서 열린 강연을 통해 자신의 증명을 세상에 공개했다.
하지만, 페르마의 마지막 문제는 마지막 순간까지 수학자를 쉽게 놔주지 않았다. 와일즈가 제출한 200쪽 분량의 논문 심사과정에서 오류가 발견된 것이다. 7년간 이 업적 외에는 아무 것도 한 것이 없는 그는, 수학자로서의 인생이 끝날지도 모른다는 공포에 시달려야 했다.
이후 와일즈는 그의 제자였던 유능한 젊은 수학자 리차드 테일러와 함께 오류 수정 작업에 몰두했다. 그는 이 과정에서 일본의 수학자 이와자와의 이론을 도입하는 돌파구를 만들었고, 결국 1995년 오류를 수정한 증명으로 페르마의 마지막 문제를 해결하게 되었다.
많은 수학자들이 도전하는 난제의 해결 과정을 살펴보면, 개인의 영감보다도 여러 다른 수학자들이 쌓아놓은 수학적 도구가 필요하다는 것을 알 수 있다. 앤드루 와일즈가 페르마의 문제를 해결하는 데 있어서 타니야마-시무라 추론이 꼭 필요했던 것처럼 말이다. 난제를 푸는 것뿐만이 아니라, 풀기 위한 도전과 과정도 아름다운 이유는 바로 이 때문이다.
