d라이브러리

리만 가설이 발표된 이후 160년 넘게 많은 수학자가 바통을 이어가며 증명에 도전했다. 오랜 노력 끝에 2012년 영점의 41.28% 이상이 일직선 위에 있다는 것이 밝혀졌다. 그런데도 아직 명확히 해결하지 못했다. 

사실 리만 가설은 참일 수도 있고, 거짓일 수도 있다. 초창기에는 거짓이라고 주장한 수학자가 더러 있었다. 영국의 수학자 고드프리 해럴드 하디와 존 이든저 리틀우드, 앨런 튜링, 마틴 헉슬리 등이 대표적이다. 이들은 참이라는 증거가 부족하다는 이유로 거짓을 주장했고, 이를 밝히기 위해 연구했다. 100여 년간 여러 연구가 나오면서 현재는 대부분의 수학자가 참이라고 믿고 있다.

리만은 직접 손으로 영점을 계산했다. 하지만 이는 웬만한 수학자도 풀기 어려운 작업이다. 그래서 튜링은 영점을 계산하는 기계를 만들었다. 그 결과 1104개의 영점을 구했다. 이후 컴퓨터를 이용해 영점을 구하기 시작했다. 현재는 슈퍼컴퓨터로 10조 개 이상의 영점이 일직선 위에 있다는 사실을 밝혔다.

그러나 이런 방식으로는 리만 가설을 증명할 수 없다. 10조가 아니라 1000경 개를 구해도 무한을 넘어서지 못하기 때문이다. 하지만 컴퓨터로 영점을 많이 구하면 리만 가설이 참이라는 근거가 된다. 수학자들은 10¹⁰⁰⁰개의 영점이 일직선 위에 있다는 걸 컴퓨터로 보일 수 있다면 리만 가설이 참이라는 확실한 증거가 된다고 생각했다.

1970년대 초 미국계 독일 수학자 돈 재기어는 리만 가설이 참이라는 증거가 부족하다며, 참이라고 주장하는 이탈리아 수학자 엔리코 봄비에리에게 내기를 제안했다. 재기어는 3억 개의 영점이 일직선 위에 있으면 거짓이라는 주장을 철회하겠다고 밝혔다. 3억 개면 리만 가설을 사실로 인정할 충분한 근거가 된다고 생각했기 때문이다.

그런데 1978년 네덜란드 수학자 헤르만 테 릴레와 호주의 수학자 리처드 브렌트가 3억 개의 영점을 계산해보였다. 결과에 승복한 재기어는 이후 열렬한 리만 가설 지지자로 돌아섰다.

리만 가설을 둘러싼 사건 사고

리만 가설을 둘러싸고 여러 일이 있었는데, 수학계를 가장 들썩이게 만든 건 단연 리만 가설을 풀었다는 수학자의 주장이다.

1997년 4월 1일, 봄비에리는 만우절을 맞아 동료에게 장난 이메일을 보냈다. 프랑스 수학자 알랭 콘의 연구에서 영감을 얻은 젊은 물리학자가 리만 가설을 해결했으니 이 소식을 최대한 널리 알리라는 내용이었다.

봄비에리는 1974년 소수의 분포에 관한 이론으로 필즈상을 받은 당대 최고의 수학자다. 그의 말을 의심하는 수학자는 아무도 없었다. 리만 가설을 푼 사람이 물리학자라는 사실도 일리가 있었다. 리만 가설이 입자물리학과 관련이 있다는 사실이 이미 밝혀져 있었다.

또 콘이 몇 해 전 창시한 이론은 양자역학과도 관련이 있어 이를 이용해 리만 가설을 풀 수 있을지도 모른다는 추측이 있었다. 따라서 콘의 연구에서 아이디어를 얻었다면 문제를 해결하는 것이 가능하다고 여긴 것이다.

열광에 휩싸인 수학자들은 이메일을 널리 퍼뜨렸다. 소문은 일파만파 번져나가 주요 언론이 보도하는 건 물론, ‘1998 독일 베를린 세계수학자대회’ 홈페이지에도 소식이 올라왔다. 수학자들은 리만 가설을 해결한 물리학자를 축하해 주려고 프린스턴 고등과학원에 모일 계획까지 세웠다. 리만 가설이 해결되면 암호체계가 무너질지도 모른다는 속설을 확인하기 위해 미국 안보국 요원도 참석하기로 했다. 

사건이 걷잡을 수 없이 커지자 결국 사태를 수습하기 위해 봄비에리는 공식적으로 이 사건에 대해 해명했다.

‘풀었다’고 주장한 지 4개월 만에 세상 떠나 

2018년 9월, 20세기를 대표하는 수학자 중 한 명인 마이클 아티야 교수가 ‘리만 가설을 풀었다’라고 주장하면서 곧바로 수학과 컴퓨터 과학 분야의 뛰어난 인재들이 모이는 컨퍼런스 ‘하이델베르그 수상자 포럼’에 강연자로 초청됐다. 그리고 그의 강연은 하이델베르크 수상자 포럼 트위터를 통해 전 세계에 생중계됐다.

평범한 수학자가 리만 가설을 증명했다고 하면 믿지 않았을지도 모른다. 하지만 아티야는 수학계 최고상인 필즈상과 아벨상을 받은 수학자라서 ‘어쩌면 풀었을 수도 있다’라고 기대하게 했다.

그런데 이상한 점이 있었다. ‘증명을 발표했다’라는 뉴스는 많은데 증명이 맞았는지 틀렸는지 따져본 뉴스는 없고, 몇몇 수학자는 ‘아티야의 증명이 틀렸을 거로 생각한다’라면서, 논문을 검증할 계획이 없는 것처럼 말했다. 

아티야의 논문을 요약하면 ‘토드 함수’와 ‘히르체부르흐-리만-로흐 정리’, ‘작용소 이론’, ‘디랙 방정식’을 이용해 리만 가설을 증명할 수 있다는 건데, 문제는 증명 과정을 자세히 적지 않았다는 것이었다. 

만약 누군가 풀이 과정 없이 ‘이 수학 문제의 정답은 3이야’라고 말했고, 여러분이 답을 검증한다고 생각해보라. 풀이 과정이 있으면 그걸 보고 틀린 부분이 없는지 찾으면 되지만, 풀이 과정이 없으면 직접 문제를 풀어서 구한 정답과 비교해야 정확하게 검증했다고 할 수 있다. 심지어 그는 ‘지금껏 제시되지 않은 방법으로 증명하겠다’라고 공언했지만, 발표 당시 증명과는 관계없는 이야기만 해 많은 수학자가 의구심을 가졌다.

아티야가 나중에라도 풀이 과정을 설명해주길 기대했건만, 리만 가설을 풀었다고 주장한 지 4개월 만인 2019년 1월 갑자기 세상을 떠나고 만다. 

2022년에도 수학계 들썩

2022년에도 중국계 미국인 수학자인 이탕 장 미국 캘리포니아대학교 산타바바라 교수가 리만 가설을 풀었다는 이야기가 중국 한 인터넷 신문에 올라오면서 수학계가 들썩였다. 

결론부터 말하면 기사는 사실이 아니었다. 장 교수는 리만 가설이 아닌 ‘란다우-지겔 영점 문제’를 다뤘으며 이마저도 완전히 증명한 게 아니라, 수학적으로 말하면 ‘약하게’ 증명한 것이었다. 특정 조건에서만 증명이 성립되도록 풀었다는 말이다. 린다우-지겔 영점 문제는 소수의 패턴을 탐구하는 문제라는 점에서 리만 가설과 같지만 아예 다른 문제다.

100만 달러 상금이 걸렸다!

리만 가설이 등장한 지 올해로 165년. 리만 가설이 이렇게까지 쉽게 풀리지 않는 이유는 무엇일까. 가장 먼저 그만큼 리만의 논문을 이해하는 데 오랜 시간이 걸리기 때문이다. 또한 이 연구가 여러 수학 분야에 걸쳐 있다. 수를 연구하는 정수론은 물론 대수 기하, 복소함수론 등을 알아야 해 난제가 쉽게 풀리긴 어려울 전망이다.

리만 가설은 미국 클레이수학연구소가 100만 달러(약 13억 1870만 원)의 상금을 걸고 지정한 세계 7대 수학 난제 중 하나다. 독일 수학자인 다비트 힐베르트는 ‘1000년 뒤에 내가 다시 살아난다면 가장 먼저 리만 가설이 증명됐는지 물어볼 것이다’라고 말했다고 전해진다. 

리만 가설이 수학계에서 중요한 이유는 소수를 다루는 몇몇 정수론 이론이 리만 가설이 참이라는 전제를 두기 때문이다. 리만 가설을 통해 소수의 규칙이라는 영광을 드디어 손에 쥐고, 수의 비밀을 풀 수 있기를 기대한다. 

또한 현대 암호체계는 소수에 기반을 두고 있어 AT&T와 같은 통신회사에서도 수학자를 대거 영입해 리만 가설 연구에 몰두했다. 실제로 2001년까지 AT&T 벨연구소 소장이었던 수학자 앤드루 오들리즈코는 영점이 얼마나 일직선 위에 있는지 슈퍼컴퓨터로 계산해 발표하고, 리만 가설과 관계가 있는 *머튼스 추측이 거짓임을 밝히는 등 다양한 연구 성과를 냈다.

암호 붕괴? 근거 없다!

인터넷에서는 공인인증서나 비밀번호 같은 개인 정보를 다른 사람이 볼 수 없도록 암호로 만들어서 주고받는다. OTT에서 보는 영상도 마찬가지다. 내가 결제한 영상을 나만 볼 수 있어야 하니까 암호로 만들어서 사용자에게 전달한다.

정보를 암호로 만들 때 타원 곡선 암호, 격자 암호 등 여러 종류를 쓰지만, 가장 많이 쓰는 건 RSA 암호다. RSA 암호는 1977년 미국 매사추세츠공과대학교의 수학자 로널드 라이베스트, 아디 샤미르, 레너드 애들먼이 ‘무척 큰 자연수를 소인수분해 하는 건 어렵다’라는 사실을 이용해 만든 ‘비대칭 암호’다. 

비대칭 암호는 정보를 암호로 만드는 방법과 푸는 방법이 다른 걸 뜻한다. 정보를 보내는 사람은 아주 큰 두 소수를 곱해 나온 자연수(공개 키)를 이용해 정보를 암호로 만드는데, 암호를 풀려면 이 두 개의 소인수(비공개 개인 키)를 알아야 한다. 암호를 푸는 건 비공개 개인 키를 가진 사람만 할 수 있다. 엄청 큰 수를 소인수분해 하는 건 슈퍼컴퓨터를 이용해도 몇 년이 걸리므로 비공개 개인 키를 알아내는 건 거의 불가능하다.

그렇다면 리만 가설이 증명되면 RSA 암호에 어떤 영향을 줄까. 정답은 ‘큰 영향은 없다’다. 앞서 이야기했지만, 리만 가설은 소수의 개수가 대략 몇 개인지 알려주는 함수다. RSA 암호의 핵심은 엄청 큰 수를 소인수분해 하는 게 어렵다는 걸 이용한 것이므로, 리만 가설과 직접 관련이 없다. 

설령 소수를 전부 찾을 수 있어도 소인수분해는 다른 문제다. 물론 리만 가설이 풀리면 증명 과정에서 나오는 다양한 이론들이 다른 문제를 푸는 데 영향을 줄 것으로 보인다. 리만 가설을 향한 학자들의 도전은 소수의 규칙을 찾는 그 영광을 얻기 위해 계속될 것이다.

*머튼스 추측 : 복소수의 소인수분해에 관한 문제로, 머튼스 추측이 참이라면 리만 가설도 참이다. 하지만 머튼스 추측이 거짓이라고 해서 반드시 리만 가설이 거짓이 되는 건 아니다.