${X}^{n}$+${Y}^{n}$=${Z}^{n}$. 얼핏 간단해 보이는 이 등식을 증명하기 위해 열을 쏟던 수학자들에게 올해는 역사적인 해로 기억될 것이다. 지난 3백50여년간 많은 수학자들을 골탕먹인 '페르마의 대정리'가 드디어 해결됐기 때문이다.
지금 전세계 수학자들의 가장 큰관심은 '페르마정리'가 해결됐다는 소식이다. 지난 6월 23일 미국 프린스턴대학의 A. 와일츠교수가 영국 캠브리지대학의 뉴턴수리연구소에서 세계적인 수학자들을 앞에 두고 페르마정리를 완전히 증명했다는 보도가 있었다.
수학에는 재미있는 문제가 많이 있으나 그 가운데 페르마정리가 가장 널리 알려져 있어 근 3백50여년동안 이 문제를 해결해보겠다고 덤빈 전문 수학자들이 적지 않았다. 그러나 그때마다 풀이과정에서 잘못이 지적되곤했다.
페르마(Pirre de Fermat)는 1601년 8월 프랑스의 한 시골 마을에서 태어났다. 처음에는 법률을 공부, 1648년 이후에는 지방의회의 의원으로서 17년간 일하다가 생을 마쳤다. 그의 경력을 보면 평범한 시골명사에 불과하다. 그러나 그는 인류사에 길이 그이름을 남겼다. 그것은 그가 틈틈이 취미로 연구했던 정수론의 연구 때문이었다. 평소 페르마는 희랍 수학자 디오판토스(Diophantos)의 수론 번역서를 읽는 것이 유일한 취미었다. 그는 책을 읽으면서 수시로 번쩍이며 튀어나오는 생각들을 그 책의 여백에 적어 놓고 있었다.
디오판토스 책의 8번째 문제는, '주어진 제곱수를 두개의 제곱수의 합으로 나눈다(피타고라스의 문제 ${a}^{2}$+${b}^{2}$=${c}^{2}$)'라는 문제였다. 페르마는 이 문제의 여백에 다음과 같이 썼다.
"수를 두개의 n제곱수의 합으로 나타내는것은, 즉 ${a}^{n}$+${b}^{n}$=${c}^{n}$은 n>;2이면 불가능하다. 나는 이 일반적 정리에 관한 실로 놀라운 증명을 발견했다. 그러나 이 여백은 그것을 적기에 너무나 좁다."
페르마가 죽은 후 그의 아들 사무엘(Samuel)이 아버지의 책을정리해 출판했다. 이것이 1670년의 일이다. 페르마 정리가 유명해진 것은 이때 출판된 책 때문으로 지금까지는 '페르마의 대정리' '페르마의 최종(最終)정리'라는 이름으로 알려져왔다. 아마도 앞으로는 '페르마 와일츠의 정리'라고 불릴 것이다.
수학적으로는 별 의미 없는 문제
이번에 페르마정리를 증명한 와일츠 교수는 겨우 40세. 또한 이 정리의 증명에 크게 도움을 준 수학자들은 거의가 젊은이들이다. 젊은이가 혁신적인 생각을 하기 때문일 것이다.
페르마 정리가 의미를 갖는 것은 바로 여러 개의 훌륭한 부산물들을 탄생시켰다는 데 있다. 고전정수론을 근대정수론으로 발전시켰고 그것은 대수곡선론과 기하학적 정수론 등 수많은 분야에 막대한 영향을 끼쳤다.
페르마정리의 해결은 수많은 예상, 전제조건, 정리 등으로 이어져 있다. 수많은 수학자들은 일일이 그 계단을 예상하고 하나씩 증명해왔다. 3백50년간 바로 지금까지 거의 일류급의 수학자들이 거의 동원된 셈이다.
하지만 이상스럽게 페르마정리 그자체는 수학적으로 별로 큰 의미가 없다. 페르마정리를 이용해서 새로이 우주의 구조를 밝히거나 과학기술에 이용될 것 같지도 않다.이 정리의 증명은 현대정수론의 정수(精髓)를 이용해 깨끗한 체계를 갖는다는 것 이외에 별 의미가 없는 것이다. 말하자면 훌륭한 예술품이 하나 생겼다해서 세상이 달라지지 않는 것과 같다고나 할까.
그렇다면 어째서 수학자들은 이 문제를 가지고 그토록 오랜 세월을 고심하여왔는가? 그 대답은 "왜 산에 오르는가"라는 물음에 "그곳에 산이 있기 때문이다"라고 말한 알피니스트의 경우와 똑같다. 인간은 두 디리로 움직일 수 있기에 그 능력의 한계까지 가서 에베레스트를 정복했다. 지적 인간(Homo Sapience)으로서 자신의 능력의 한계까지 도전해보고 싶은 것이다.
현상금만도 10억원넘어
수학이 지금까지 경제적 이익이나 적어도 현실적인 쓰임새만을 생각해왔다면 지금처럼 발전하지는 않았을 것이다.
'삼각형의 두변의 길이의 합은 다른 한변의 길이보다 크다.'
이 사실은 누구든 금방 알 수 있다. 하지만 지적 인간이 동물과 다른점은 증명을 해야만 직성이 풀린다는 것이다. 증명을 한다는 것은 보편성을 얻자는 것이며 그것이 바로 진리로서 받아들이기 위한 조건이다. 이러한 진리들이 축적돼 인류의 보물이 되는 것이다.
명백한 사실인데도 반드시 증명해야 된다고 믿기에 수학에는 많은 난문제들이 있었다. 그것들을 해결하지 않고서는 앞으로 나갈 수가 없는 것이다. 수학의 발전을 위한 약점이 곧 미해결의 문제들이었다. 지금도 수학에는 수많은 약점(미해결의 문제)이 있다. 하지만 페르마정리처럼 극적인 것은 없는 것 같다. 극적인 문제란 다음 조건을 만족해야 한다.
(1) 겉보기에는 의심이 여지가 전혀 없는 명제
(2) 쉽게 증명할 수 있을 것 같은 착각을 일으키는 명제
(3) 명제의 형식과 내용이 간단 명백한 것
희랍 이래의 난문제로서 유명한 것으로는 다음과 같은 것이 있었다.
(1) 임의의 각의삼등분
(2) 배적(倍積)문제 : 주어진 정입방체의 부피를 2배로 늘리는 것
(3) 원적(圓積)문제 : 원과 같은 넓이를 갖는 정사각형의 작도
이상의 세문제를 자(尺)와 컴퍼스만을 이용하여 해결해야만 했다. 이 문제는 모두 2천년 이상을 미해결로 남아있다가 19세기에 이르러 모두 해결되었다. 최근에 해결된 난문제로 '4색(四色)문제'가 있다. 즉, "지도를 작성할 때 인접하는 나라에 대해서는 다른 색칠을 해야 한다. 이 색의 종류는 네가지면 된다"는 것이다. 이 문제는 최근 컴퓨터를 이용해 해결하였다. 이들 난문의 마지막 계열에 페르마의 대정리가 있었던 셈이다.
페르마정리의 형식, 내용은 앞에서 언급한 난문제의 조건인 (1), (2), (3)을 완전히 만족한다. 솔직히 말해서 지금도 필자는 와일츠교수의 증명에 혹 오류는 없을까 걱정하고 있다. 그것은 그동안 수많은 수학자들이 페르마정리의 증명에 성공했다고 논문을 발표했으나 모두 그 후 어디엔가 잘못이 발견돼왔기 때문이다. 이로 인해 유명한 수학자들이 본의아니게 웃음거리가 됐고 더욱 더 그때마다 이 정리를 유명하게 만들었다.
그와 더불어 이 증명에는 현상금까지 붙어있다. 1861년과 1850년 두번에 걸쳐 파리과학아카데미에서는 이 문제를 해결하는 사람에게는 금메달과 3백 프랑의 상금을 주겠다고 현상을 걸었고, 1908년 독일인 대부호 프스겔(P.Wolfskehel)은 10만 마르크의 현상금을 걸었다. 지금 같으면 10억원 정도가 된다. 그 후 인플레의 영향으로 1958년 그 액수는 7천만 마르크가 되었다. 이 현상금은 2007년 9월 13일까지 유효하다. 프스겔이 1908년에 현상금을 걸면서 앞으로 1백년 이내에 문제를 푸는 사람이어야 한다는 조건을 붙여 놓았기 때문이다. 와일츠 교수가 얼마의 돈을 받을지는 모르겠으나 돈보다는 그의 이름이 길이 수학사에 남게 되는 것이다.
고전 정수론에서 근대 정수론으로
이 정리의 뜻을 설명하면 'n이 2보다 큰 자연수일 때 ${x}^{n}$+${y}^{n}$=${z}^{n}$은 xyz≠0이 되는 정수의 해를 갖지 않는다'는 내용이다. n=4일 때는페르마가 스스로 증명해놓았다. "주어진 자연수가 하나의 성질을 갖는다면, 그 성질은 처음에 주어진 자연수보다 작은 자연수도 역시 갖는다(무한강하(降下)법)"고 가정하고 그 증명을 몇번 되풀이하면서 모순을 찾아내 결국 처음의 가정이 잘못됐다는 것을 밝힌다. 따라서 그런 자연수는 존재하지 않는다는 것이다.
n=3의 경우는 더 어려운데, 그 정식증명을 오일러(Euler)가 1770년에 성공적으로 해결했다. 또한 n=3의 경우는 수학의 왕자 가우스도 오일러와는 별도로 a+b$\sqrt{-3}$(a, b는 정수)을이용해 증명했다.
n이 작은 수라고 해서 반드시 쉬운 것은아니다. n=3의 경우는 n=4일 때의 증명보다 훨씬 어렵다. 최근까지는 n이 125080이하의 모든 n에 대해서 증명이 완료됐다. 그간의 증명의 역사는 대략 다음과 같다.
n=3, 오일러(Euler, 1770), 가우스(Gauss)
n=4, 페르마(Fermat), 베스(Bessy, 1676), 오일러(1747)
n=5, 르장드르(Legendere, 1825), 디리크레(Dirchlet, 1828)
n=7, 라메(Lame, 1839), 레베스쿠(Lebesque)
n=14, 디리크레(1832)
n=3, 4, 5라는 식으로 개개의 n에 대해서가 아니라 일반적인 n에 대해서 처음으로 증명을 시도한 수학자는 쿤머(Kummer, 1810-1893)였다. 그는 n이 소수P(≠2)일 때, ${x}^{p}$+${y}^{p}$=${z}^{p}$에서 ${z}^{p}$=(x+y)(x+ρy)……(x+${ρ}^{k-1}$y), ρ$\frac{2πi}{{e}^{p}}$로 인수분해하고 가우스의 정수 a+b$₩sqrt{-1}$(a, b는 정수)와 유사한 원분체(圓分體)의 수를 생각해, 만일 이때에 소인수분해의 유일성이 성립하면 페르마 정리가 성립한다는 것을 알아낸 것이다.
그러나 이러한 연구가 계속되는 사이에 정수론은 고전적인 소수, 약수, 배수 따위의 수법을 훨씬 뛰어넘어 수의 범위가 훨씬 넓어지고 그 분류도 다양해졌다. 근대 정수론은 허수와 같은 극도로 세련된 인공적인 수를 이용한다. 쿤머의 방법이 그 이전의 것들과 크게 다른 점은 n에 관한 판정방법이 마련돼 있고 그 조건만을 갖는다면 그 n에 대해서는 페르마의 정리가 성립한다는 데 있다.
쿤머는 그 판정조건이 무한히 존재한다고 생각했던 모양이다. 그러나 지금까지는 무한개의 판정조건의 존재성에 관한 정리는 증명돼 있지 않다. 쿤머의 연구는 페르마정리의 증명을 진일보시키는 것에 그치지 않고, 결국 '대수적 정수론'이라는, 간단히 말해 복소수(a+bi, i= $₩sqrt{-1}$, a, b는 실수)를 정수의 문제에 응용하는 수법을 발달시켰다. 지상의 전투만을 하던 시절, 비행기가 등장한 것만큼이나 혁명적인 방법이다. 여기서 말하는 지상의 일이란 정수이고 복소수는 비행기에 비유한 것이다.
페르마 정리의 형식은 매우 간단하다. 뿐만 아니라 해결이 예상될 만한 이유가 있었다. 다시 말해서 n이 소수(2, 3, 5, 7……과 같이 1과 자기 자신 이외의 약수를 갖지 않는 수)일 때 성립하면 해결된다는 사실이 일찍부터 알려져 있었기 때문이다. 그 내용을 정리의 형식으로 말하면 다음과 같다.
〈정리〉n이 소수일 때 페르마의 정리가 증명된다면 모든 자연수 n에 대해 페르마의 정리는 성립한다.
〈증명〉n이 소수일 때 페르마의 정리가 성립한다고 가정하자. n이 2의 멱승이 아니면 n은 홀수의 소수 p로 나누어 진다. 즉 n=kp를 만족하는 자연수 k가 존재한다. 이제 모든 자연수 n에 대하여 페르마의 정리가 성립하지 않는다고 가정하자. 그러면, ${x}^{kp}$+${y}^{kp}$=${z}^{kp}$ 즉, ${({x}^{k})}^{p}$+${({y}^{k})}^{p}$=${({z}^{k})}^{p}$가 해를 갖는다는 결과가 된다. X=${x}^{k}$, Y=${y}^{k}$, Z=${z}^{k}$를 대입하면, ${X}^{p}$+${Y}^{p}$=${Z}^{p}$가 되어 n=p에 대한 해를 갖게 되므로 n=p에 대한 페르마의 대정리가 성립한다는 가정에 모순된다. 또한 n이 2의 멱승이라고 한다면 n〉2이므로 n은 4로 나누어진다. 그러나 n=4인 경우는 이미 말한 대로 페르마 자신이 증명했다. 따라서 이런 n에 대해서는 페르마의 대정리는 성립한다.
요컨대 n이 소수일 때를 해결하면 되는 것이다. 쿤머의 예상도 여기서 출발하고 있다.
수학의 천재는 그야말로 기상천외한 생각을 한다. 수년전 독일의 무명 수학자였던, 당시 24살의 휠칭스라는 젊은이가 내놓은 이론이 있다. 고전적 정수론에서 근대적 정수론(또는 대수적 정수론)을 생각하고 여기에 새로운 기하학적 수법을 가미했다. 기하학적 정수론이라고나 할까. 즉, '페르마 방정식은 각 n에 대해서 만일 해가 존재한다 해도 유한개만이 존재한다'는 것이다. 전세계의 수학자들을 놀라게 한 것은 그 증명법이 기하학적이었고 또한 넓은 응용범위를 갖는다는 것이었다.
페르마 방정식의 양변, 즉 ${X}^{n}$+${Y}^{n}$=${Z}^{n}$을 ${Z}^{n}$으로 나누면 ${X}^{n}$+${Y}^{n}$=1이 되고 그것은 x, y 평면상의 곡선이다(n=2이면 원).
'어떤 곡선상에 좌표가 유리수인 점은 유한개밖에 없다(모델의 예상)'는 것을 증명한 휠칭스는 위에서 말한 정리의 결과에 도달했다. 이제는 유한개만 존재한다는 결과를 연장해서 0개만 존재한다고 증명하면 되는 것이다. 와일츠교수는 이 마지막 단계를 증명한 것 같다.
여기서는 타원함수의 이론이 응용되어 있다. 타원함수란 타원의 호의 길이를 계산할 때 나타내는 함수의 그래프로,
${y}^{2}$=(x의 3차식)
과 같은 형식을 취한다. 가령,
${y}^{2}$=${x}^{3}$+1
과 같은 것이다. 이 타원함수가 일정조건을 만족하면 제타의 함수와 관계가 생기게 된다.
제타 함수란,
ξ(s)=$\frac{1}{{1}^{s}}$+$\frac{1}{{2}^{s}}$+$\frac{1}{{3}^{s}}$+$\frac{1}{{4}^{s}}$+……
이며, ξ는 희랍문자 Zēta이고 s〉1이면 수렴한다.
이 함수는 매우 좋은 성질을 가지고 있다.
(1) ξ(r)=유리수×${π}^{r}$
(2) ξ(s)=[수식입력]
쿤머의 판정법은 임의의 음의 홀수 r에 대서 ξ(r)의 값을 기약분수로 나타낼 때 분자가 소수 p로 나누어지지 않는다면 ${X}^{p}$+${Y}^{p}$=${Z}^{p}$를 만족하는 자연수 x, y, z가 존재할 수 없다는 것이다. 곧, (0)=-$\frac{1}{2}$(-1)=-$\frac{1}{12}$(-2)=0,…이다.
페르마는 진정 알고 있었을까
그토록 오랫동안 많은 수학자들의 골수를 말린 이 정리의 증명과정에는 매우 큰 의미가 있다. 이 간단한 이야기에서 나타난 몇가지 흥미있는 점을 간추려보면 다음과 같다.
(1) 겉보기엔 간단한 문제일지라도 심오한 의미를 지닌 문제가 있다.
(2) 난문제가 있으면 수학은 발달한다.
(3) 대수학자들도 실수를 한다.
과연 페르마 자신은 디오판토스의 수론 책에 쓴 것처럼 완전하게 그 정리를 증명했을까? 결코 그렇다고는 믿어지지 않는다. 당시의 수학수준으로 보아 그토록 많은 예비단계를 단숨에 뛰어넘어 엄밀한 증명을 하기에는 불가능하기 때문이다.
와일츠 교수는 진정 실수가 없을까? 아마도 없을 것이다. 그것은 이미 많은 예비정리와 예상되는 조건이 모두 해결되었기 때문이다. 또 10여년 전부터 수학계에서는 늦어도 21세기까지는 누군가 페르마정리를 증명할 것이라고 예상을 하고 있었다.
