주메뉴바로가기 본문바로가기

리만가설

수학자 홀리는 마력의 난제

수학 난제 중 가장 어렵고 중요한 문제. 당대 최고 수학자들이 도전했지만 아직 풀리지 않은 문제. 몇몇 수학자의 정신을 앗아간 악마의 문제. 100만달러 상금이 걸린 밀레니엄 문제 중 하나. 1859년 독일의 천재 수학자 베른하르트 리만이 세운 가설. 바로 리만 가설이다. 리만 서거 150주년을 맞아 수학자를 사로잡은 마력의 난제를 소개한다.


희대의 거짓말, “리만 가설 풀었다!”

보통 수학 문제를 하나 풀었다고 전 세계가 호들갑 떨지는 않는다. 그런데 리만 가설은 다르다. 문제를 해결했다고 하면 곧바로 화제가 된다. 수학계에서 가장 중요한 문제기 때문이다. 그래서 리만 가설을 풀었다는 수학자의 착각 혹은 거짓말이 큰 파장을 불러일으키기도 한다.

 

에노크의 논문 초록은 국제 수학 전산학 국제회의 웹 사이트에 올라와 있다(위).
11월 17일, 영국의 BBC 월드 서비스는 에노크 교수의 인터뷰를 웹사이트에 공개했다(아래).

지난해 11월 17일, 나이지리아 수학자가 리만 가설을 풀었다는 뉴스가 전 세계를 강타했다. 영국 BBC와 더타임스, 미국 CNN 등 주요언론이 기사화하면서 삽시간에 퍼져나간 것이다. 당일 이 소식을 접한 수학동아 편집부도 기사 내용이 사실인지 확인하기 위해 국내 수학자에게 문의했다. 엄상일 KAIST 수학과 교수는 “근거 없는 이야기”라며 한마디로 일축했다. 다음날 연합뉴스는 가짜 의혹이 매우 짙다고 보도했다. 대체 어떻게 된 일이었을까.

 
수학자 주장만 믿은 해프닝

지난해 11월 10일과 11일 오스트리아 빈에서 열린 ‘국제 수학 전산학 국제회의’에서 나이지리아의 수학자 오페예미 에노크가 리만 가설을 풀었다고 주장한 논문을 발표했다. 이 소식을 주요 언론이 보도했고, 특히 영국의 BBC 월드 서비스는 에노크 교수 인터뷰를 녹음 파일 형태로 웹사이트에 공개했다.

이후 논문을 발표했다는 국제회의가 수학계에서 권위를 인정한 학술대회가 아니라는 점과 에노크의 논문이 철저한 검증을 받은 것이 아니라는 점이 밝혀졌다.

기하서 연세대 수학과 교수는 “오페예미 에노크 가 실존 인물인 것은 맞는 것 같다”며, “다만 리만 가설을 푼 것은 아니다”라고 말했다. 결국 해외 언론이 에노크의 주장을 제대로 확인하지 않아 벌어진 소동이었다.


저명한 수학자의 만우절 소동

리만 가설을 둘러싼 소동은 과거에도 있었다. 1997년 4월 1일, 이탈리아의 수학자 엔리코 봄비에르 는 만우절을 맞아 동료에게 장난 이메일을 보냈다. 프랑스의 수학자 알랭 콘의 연구에서 영감을 얻은 젊은 물리학자가 리만 가설을 해결했으니 이 소식을 최대한 널리 알리라는 내용이었다.

봄비에르는 1974년 소수의 분포에 관한 이론으로 필즈상을 받은 당대 최고의 수학자다. 그의 말을 의심하는 수학자는 아무도 없었다. 리만 가설을 푼 사람이 물리학자라는 사실도 일리가 있었다. 리만 가설이 입자물리학과 관련이 있다는 사실이 이미 밝혀져 있었다.

또 콘이 몇 해 전 창시한 이론은 양자역학과도 관련이 있어 이를 이용해 리만 가설을 풀 수 있을지도 모른다는 추측이 있었다. 따라서 콘의 연구에서 아이디어를 얻었다면 문제를 해결하는 것이 가능하다고 여긴 것이다.

열광에 휩싸인 수학자들은 이메일을 널리 퍼뜨렸다. 소문은 일파만파 번져나가 주요 언론이 보도하는 건 물론, ‘1998 독일 베를린 세계수학자대회’ 홈페이지에도 소식이 올라왔다. 수학자들은 리만 가설을 해결한 물리학자를 축하해 주려고 프린스턴 고등과학원에 모일 계획까지 세웠다. 리만 가설이 해결되면 암호체계가 무너질지도 모른다는 속설을 확인하기 위해 미국 안보국 요원도 참석하기로 했다. 결국 사태를 수습하기 위해 봄비에르는 공식적으로 이 사건에 대해 해명했다.


변덕쟁이 소수에도 규칙이 있다?!

대체 리만 가설이란 뭐기에 이토록 화제가 되는 걸까. 소수의 비밀을 담고 있는 리만 가설을 제대로 알기 위해선 오일러의 곱셈공식과 가우스가 제기한 소수 추측부터 살펴봐야 한다.

스위스의 수학자 레온하르트 오일러는 누구보다 소수를 사랑했다. 소수가 나올 때만 높아지는 기묘한 계단을 늘 상상했다. 소수 계단을 머릿속으로 오르고 또 오르며 소수가 언제 나타나는지 살폈다. 1732년에는 소수를 찾아낸다는 페르마의 식 22N+1이 N=5일 때 거짓이라는 사실을 밝혔다.
 
그러다 우연히 한 수학 문제(바젤 문제)를 푸는 과정에서 특이한 식과 답을 발견했다. 바로 소수로 이뤄진 식의 결과가 자연계에서 가장 완벽한 도형이라는 원을 나타내는 값, 즉 π였던 것이다. 오일러는 여기서 더 나아가 오일러 곱셈공식이라는 일반화된 식의 일부 값도 알아냈다. 그가 연구한 식의 2제곱 부분에 2 이외의 다른 수 N을 대입할 수 있도록 만든 식에서 N이 짝수일 때의 값을 모조리 알아낸 것이다. 그런데 천하의 오일러도 홀수일 때의 값은 알아내지 못했다.


소수 개수 알려주는 소수 추측오일러가 18세기 초반 소수 연구에 푹 빠져 있었다면 가우스는 그로부터 50여 년 뒤 소수 연구를 시작했다. 1792년 이제 겨우 열다섯 살이 된 독일의 천재 수학자 카를 프리드리히 가우스는 매일 15분씩 투자해 어떤 수가 소수인지 따졌다. 가우스는 수를 1000씩 나눠 끈질기게 세었다. 결국 1부터 300만 개까지 조사하면서, 중요한 발견을 했다. 바로 소수는 제멋대로 등장하지만 소수의 개수는 수가 커질수록 줄어든다는 사실이다.

그래서 생각을 바꿔 소수가 다음에 언제 나오는지 알아내는 대신 일정한 범위 안에 얼마나 많은 소수가 있는지 알아봤다. 그 결과 수의 범위가 10배 늘어나면 새로운 소수가 나타나기까지 평균적으로 세어야 할 수의 개수가 평균 2.3개 늘어난다는 걸 발견했다. 이같은 규칙을 수식으로 나타내면 밑이 오일러 상수 e(≒2.718)인 로그함수가 된다. 즉 1부터 N까지 범위에서 소수는 대략 lnN개의 수를 셀 때마다 하나씩 등장한다. 이것이 바로 소수 추측이다.

소수 등장 = 동전 던지기?

시간이 흘러 노년이 된 가우스는 오차가 훨씬 적은 소수 예측식을 만들기 위해 노력했다. 이때 떠오른 아이디어가 동전 던지기다. 소수가 동전 던지기와 같은 방식으로 나타날지도 모른다고 생각한 것이다.

동전을 던져 앞면이 나올 확률은 50%다. 하지만 직접 동전을 던져보면 꼭 50%의 확률로 나타나지는 않는다. 다만 100번, 1000번 많이 던지면 던질수록 50%에 가까워진다. 이처럼 소수의 개수도 처음에는 그 값이 정확하게 맞아떨어지지 않지만, 무한히 많이 던지면 정확하게 구할 수 있다고 생각했다.

우선 동전던지기에서 앞면이 나올 확률은 50%로 뒷면이 나올 확률과 같다. 하지만 소수와 합성수는 나올 확률이 똑같지 않다. 그래서 가우스는 앞면이 나올 확률을 소수가 나올 확률이라고 가정한 다음 소수 동전을 N번 던졌을 때 확률을 구해봤다. 그 결과 적분식으로 이뤄진 일반화된 함수를 만들었다. 이를 개선된 소수 추측(현재 소수정리)이라고 부른다.
 

인류 최대의 난제, 리만 가설

1859년 11월, 독일의 수학자 베른하르트 리만은 베를린 학술원에 가입하기 위해 학술원 간행물에 논문을 발표했다. <주어진 수보다 작은 소수의 개수에 관한 연구>라는 제목의 10쪽짜리 짧은 논문이었다. 획기적인 내용이 담겨 있긴 했지만, 리만 자신은 그리 만족스럽지 않았다. 증명 없이 가설만 제기했기 때문이다. 실제로 리만은 논문에 다음과 같이 써 놓았다.


그런데 이 만족스럽지 않은 논문이 오랜 세월 수학자들의 골머리를 앓게 한 리만 가설을 제기한 논문이다.

리만은 자신의 스승인 가우스가 제시한 소수 추측을 증명하기 위해 이 논문을 썼다. 실제로 리만 가설이 참이라면 소수 추측은 자동으로 증명된다. 리만 가설이 소수 추측보다 더 강력하기 때문이다. 소수 추측으로 예측하는 소수 개수의 근삿값은 오차가 크지만, 리만 가설이 제시한 공식은 매우 정확하다.

그렇다면 이렇게 중요한 리만 가설이란 무엇일까? 리만 가설은 오일러의 곱셈공식에서 출발해 리만제타함수를 만들었다. 그리고 이 함수의 자명하지 않은 근에 대해 주목했다. 자명하지 않은 근이란 자명한 근을 제외한 근을 일컫는다. 자명한 근은 오일러가 계산한 근으로 리만제타함수의 s가 음의 짝수일 때의 값, 즉 -2, -4, -6, -8, … 일때다. s에 이들 값을 대입하면 리만제타함수 ζ(s)는 항상 0이 된다.

리만은 리만제타함수를 그래프로 나타냈을 때 자명하지 않은 근(영점)이 모두 일직선 위에 나타난다는 가설을 세웠다. 원래 리만은 소수가 불규칙적으로 등장하기 때문에 리만제타함수의 근도 불규칙적으로 나타날 것으로 예상했다. 그런데 실제 계산해 본 결과 영점 3개가 일직선 위에 있었던 것이다.


리만 가설, 157년의 역사

리만 가설이 등장하고 30년 동안은 아무런 진척이 없었다. 그만큼 리만의 논문을 이해하는 데 오랜 시간이 걸렸다. 하지만 오랜 노력 끝에 논문에 담긴 아이디어로 가우스의 소수 추측(현재 소수정리)이 증명됐고, 2012년 영점의 41.28% 이상이 일직선 위에 있다는 것이 밝혀졌다. 리만 가설 제기 이후 현재까지 어떤 성과가 있었는지 알아본다.

 
리만 가설이 어려운 이유는?

리만 가설이 150년 넘게 난제로 남아 있었던 이유는 이 연구가 여러 수학 분야에 걸쳐 있어서다. 수를 연구하는 정수론은 물론, 해석적 정수론, 대수적 정수론, 대수 기하, 복소함수론, 랭글랜즈 프로그램 등 알아야 할 수학 분야가 많다. 사실 앞으로 어떤 분야와 더 관련이 생길지 모르는 상황이다. 양파껍질처럼 까도 까도 새로운 연구 분야가 나오고 있는 것이 리만 가설이다.

리만 가설 풀리면 암호체계 무너지나?

흔히 리만 가설이 풀리면 소인수분해가 어렵다는 사실을 이용하는 인터넷 암호체계 RSA가 무너져 혼란이 야기될 거라고 말한다. 이게 실제로 가능할까? 리만 가설의 미래를 점쳐본다.


리만 가설은 참일 수도 있고, 거짓일 수도 있다. 초창기에는 거짓이라고 주장한 수학자가 더러 있었다. 영국의 수학자 고드프리 해럴드 하디와 존 이든저 리틀우드, 앨런 튜링, 마틴 헉슬리 등이 대표적이다. 이들은 참이라는 증거가 부족하다는 이유로 거짓을 주장했고, 이를 밝히기 위해 연구했다. 100여 년간 여러 연구가 나오면서 현재는 대부분의 수학자가 참이라고 믿고 있다.

슈퍼컴퓨터로 영점 계산

리만은 직접 손으로 영점을 계산했다. 하지만 이는 웬만한 수학자도 풀기 어려운 작업이다. 그래서 영국의 수학자 앨런 튜링은 영점을 계산하는 기계를 만들었다. 그 결과 1104개의 영점을 구했다. 이후 컴퓨터를 이용해 영점을 구하기 시작했다. 현재는 슈퍼컴퓨터로 10조 개 이상의 영점이 일직선 위에 있다는 사실이 밝혀졌다.

그러나 이런 방식으로는 리만 가설을 증명할 수 없다. 10조가 아니라 1000경 개를 구해도 무한을 넘어서지는 못하기 때문이다. 하지만 컴퓨터로 영점을 많이 구하면 리만 가설이 참이라는 근거가 된다. 수학자들은 101000개의 영점이 일직선 위에 있다는 걸 컴퓨터로 보일 수 있다면 리만 가설이 참이라는 확실한 증거가 된다고 말한다.

1970년대 초 프랑스의 수학자는 돈 자이에는 리만 가설이 참이라는 증거가 부족하다며, 참이라고 주장하는 이탈리아의 수학자 엔리코 봄비에르에게 내기를 제안했다. 자이에는 3억 개의 영점이 일직선 위에 있으면 거짓이라는 주장을 철회하겠다고 밝혔다. 컴퓨터로 3억 개까지를 보일 수 있다면 이는 리만 가설을 사실로 인정할 충분한 근거가 된다고 생각했기 때문이다.

그런데 1978년 네덜란드의 수학자 헤르만 테 릴레와 호주의 수학자 리처드 브렌트가 3억 개의 영점을 계산해 보였다. 결과에 승복한 자이에는 이후 열렬한 리만 가설 지지자로 돌아섰다.


봄비에르와의 내기 이후 리만 가설의 열렬한 지지자가 된 돈 자이에
독일 막스플랑크 연구소 소장. 리만제타함수를 그래프로 나타내고 있다.

암호 붕괴? 근거 없다!

영점 찾기에 열을 올린 건 비단 수학자뿐만 아니다. AT&T와 같은 통신회사에서도 수학자를 대거 영입해 리만 가설 연구에 몰두했다. 그 이유는 속설처럼 RSA 암호가 무너질지 궁금했기 때문이다.

실제로 2001년까지 AT&T 벨연구소 소장이었던 앤드루 오들리즈코는 영점을 슈퍼컴퓨터로 계산해 발표하고, 리만 가설과 관계가 있는 머튼스 추측이 거짓임을 밝히는 등 다양한 연구 성과를 냈다.

머튼스 추측
복소수의 소인수분해에 관한 문제로, 머튼스 추측이 참이라면 리만 가설도 참이다. 하지만 머튼스 추측이 거짓이라고 해서 반드시 리만 가설이 거짓이 되는 건 아니다.


인터넷에서 사용하는 모든 암호는 RSA 암호체계를 따르고 있다. RSA 암호는 큰 수를 두 소수의 곱으로 분해하는 것이 어렵다는 것을 이용한 암호다. 60자리 소수 두 개를 곱해 암호를 만들고, 소수를 암호를 푸는 열쇠로 사용한다.

그런데 만약 리만 가설이 참이라면 이런 소수에도 규칙이 있다는 소리가 된다. 그래서 몇몇 수학자들은 리만 가설이 해결되면 획기적인 소인수분해법도 개발되리라고 보고 있다.
 
한편에서는 이것이 전혀 근거 없는 주장이라고 말한다. 기하서 연세대 교수는 “리만 가설과 소인수분해는 직접적인 관련이 없다”며, “사람이 만들어 낸 상상”이라고 말했다. 덧붙여 “기가 막힌 아이디어가 나와서 RSA 암호체계를 무너트릴 수 있을지는 몰라도 리만 가설 때문은 아닐 것”이라고 말했다.
 



글 : 조가현 수학동아 gahyun@dong.com
도움 : 기하서
기타 : [참고자료] 존 더비셔의 <리만 가설>, 마커스 드 사토이의 <소수의 음악>, 고등과학원 수학난제센터의 <리만 가설>
일러스트 : 김남희, UNCLE HONG, 이지희
이미지 출처 : Ⓒ Oliver Knil, Ⓒ 2015 Hausdorff center for Mathematics, 포토파크닷컴, Ⓒ Chris King, [일러스트] 김남희

수학동아 2016년 01호
수학동아 2016년 01호 다른추천기사