디오판토스 방정식 이론
정수 계수를 가진 다항식 f(x₁, x₂, …, xn)이 주어졌을 때 f=0의 정수 혹은 유리수 해를 찾는 문제는 수학에서 가장 오래된 연구 분야 중 하나다. 그 중에서도 고대로부터 전해 내려오는 x²+y²=z²의 정수해들은 ‘피타고라스의 세 쌍’이라 부른다. (3, 4, 5), (5, 12, 13)과 같은 쉬운 해부터 (65, 72, 97), (4,565,486,027,761, 1,061,652,293,520, 4,687,298,610,289) 등 정수해가 무한히 많다. 그리고 이것은 고대 바빌로니아 시대부터 알려진 바다. (여기서 무한하다는 것은 (3, 4, 5), (6, 8, 10), (9, 12, 15)와 같이 주어진 해의 단순한 비례를 통해 얻는 경우를 제외한 해의 세 쌍이 무한하다는 뜻이다.
수론의 오래된 문제 중에는 x²-2y²=1의 정수해를 찾는 문제도 있다. 이 경우에는 어떻게 될까? 스스로 분석해 보기 바란다. 정수해가 하나라도 있을까? 무한히 많을까?
또 한 가지 해 볼 만한 연습 문제는 x²+y²=3z²이다. 재미있는 것은 앞의 x²+y²=z²과 아주 비슷해 보이는데도 이 방정식은 정수해가 (0, 0, 0)밖에 없다.
약간의 계수 차이가 방정식의 해집합을 상당히 바꿀 수 있고, n이 2보다 클 때의 xⁿ+yⁿ=zⁿ와 같이 서술하기는 쉽지만 해결하는 데에는 엄청나게 고등한 개념이 많이 필요하다. 그리고 이 같은 사실은 탁월한 수학자들로 하여금 이 분야에 대해 매력을 느끼게 한다.
그런데 차수가 3 이상이 되면 문제가 난해해지면서 지금도 진상이 밝혀지지 않은 신비한 현상이 굉장히 많다. 그리고 이런 방정식의 연구는 수론에서 가장 중요하고 활발한 분야로 지금까지도 남아 있다.
대표적으로 y²=x³+ax+b꼴의 방정식을 ‘타원곡선’이라고 부르는데, a와 b가 변할 때 유리수 해가 유한한지 무한한지 판별할 일반적인 방법이 없는 상태다. 물론 특별한 방정식에 대해서는 알 수 있는 것이 많다. 가령 y²=x³-x 같으면 (0, 0), (1, 0), (-1, 0)과 같이 3개의 유리수 해가 있고, y²=x³-36x의 경우는 (12, 36) 외에도 유리수 해가 무한히 많다. 단지 모든 경우에 판별할 수 있는 일반적인 알고리듬이 없다는 뜻이다.
이와 비슷하게 다항식 f(x,y)의 차수가 4 이상이면, 대체로 유리수 해가 유한하다는 것이 1980년대 초에 증명된 ‘게르트 팔팅스의 정리’다. 게르트 팔팅스는 1986년에 필즈상을 받은 독일의 수학자다.
그런데 팔팅스의 정리가 적용되어 해의 유한성이 밝혀진 상태에서도 그 해들을 찾을 수 있는 알고리듬을 여전히 모르고 있다. 상당히 특별한 꼴의 방정식인 axⁿ+byⁿ=c 정도도 4보다 큰 n과 a, b, c에 대해서는 해가 언제 존재하고 언제 존재하지 않는지 알려진 바가 거의 없다. (물론 a=b=c=1인 유명한 경우는 완전히 파악됐다.)
거시적인 해결책
사실은 타원곡선의 유리수 해 구조에 관한 연구는 클레이 연구소가 지정한 100만 달러 상금이 걸린 난제 중 하나인 ‘버치-스위너턴다이어 추측’의 주제이다. 그 추측이 맞았을 때의 가장 중요한 산물이 바로 타원곡선 방정식 해의 무한성을 판별할 수 있는 알고리듬이다. 그러나 버치-스위너턴다이어 추측의 증명은 우리시대의 기술적 수준으로는 이루기 어렵다는 것이 일반적인 견해다.
그럼에도 올해 필즈상 수상자 중 한 명인 만줄 바르가바의 연구는 이 추측의 역사에 기록될 만한 진전을 가져왔다. 그는 구체적인 방정식에 대한 질문을 포기하고, 해 존재의 확률에 대한 질문으로 시각을 바꿨다. 그러니까 A와 B를 임의로 골랐을 때, 방정식의 해가 무한할 확률이 무엇인가의 질문이다. 그리고 그에 대한 답이 바르가바의 주요 정리다.
a와 b를 임의로 고르면 y²=x³+ax+b의 유리해가 무한할 확률은 0보다 크다. 그런가 하면 유리해가 전혀 없을 확률도 0보다 크다. 이 결과를 크리스 스키너와의 공동연구와 합쳐서 증명한 사실이 ‘버치-스위너턴다이어 추측이 성립하는 타원곡선의 밀도는 0보다 크다’는 것이다.
바르가바는 이 정리를 증명하기 위해서 19세기 말에 민코프스키가 개발했던 ‘수의 기하학’ 이론을 현대적인 방법으로 개선했다. 수의 기하학이란, 정수의 순서쌍 같은 이산 수체계가 다차원 공간에서 차지하는 영역을 상세히 공부하는 이론이다. 그런데 민코프스키 때는 간단한 종류의 영역만을 고려하던 것을 바르가바는 ‘산술군 이론’을 사용해 훨씬 복잡한 영역속의 이산수체계의 분포 검사를 성공했고, 그에 따라서 수의 기하학을 훨씬 더 강력한 수학적 도구로 발전시켰다.
바르가바는 또 차수가 6 이상인 다항식 f(x)에 대해서 y²=f(x)꼴의 일반적인 방정식도 공부했다. 앞서 언급한 팔팅스의 정리에 의하면 이 방정식은 대체로 유리수 해가 유한하다. 그런데 놀랍게도 바르가바는 수의 기하 방법론을 적용해, 해가 유한한 정도가 아니라 f(x)의 차수가 커지면서 방정식의 유리수 해가 전혀 없을 확률은 1에 가까워진다는 사실을 밝혀냈다. 가령 바르가바에 의하면 f(x)의 차수가 10만 되어도 유리수 해가 전혀 없을 확률은 0.99 이상이다.
방정식 해의 존재성 문제를 확률적으로 재해석하는 과정은 어쩌면 수학적인 전통의 역사적 주류에 속하는 것 같기도 하다. 가령 미분방정식 이론의 경우도 모든 방정식을 풀려고 하는 노력은 이제 거의 없고, 대부분의 방정식의 해가 어떤 성질을 가졌는가 하는 식의 구조적인 연구가 많다. 다른 필즈상 수상자인 아르투르 아빌라의 연구도 사실은 이런 방향이다.
이런 관점 교체가 결정적으로 중요했던 분야는 일반상대론의 아인슈타인 방정식이론에서도 찾아볼 수 있다. 1960년대 초 정도까지 물리학자들이 어려운 방정식의 복잡한 해를 찾는 데 집착하면서 일반상대론 연구는 거의 정체 상태에 이르렀었다. 하지만 시공간 구조의 거시적인 성질을 방정식을 풀지 않고 연구하는 방향으로 전략을 바꾸면서 로저 펜로스, 스티븐 호킹 등의 혁신적인 우주론이 나오기 시작했다. 바르가바의 연구도 이처럼 ‘문제해결’의 개념 자체가 다양해지는 과정의 중요한 단계가 아닌가 생각된다.
