d라이브러리

수학을 전공하지 않은 사람들이 수학에 대해 갖는 두 가지 극단적인 태도를 들자면, 하나는 수학 따위는 어렵기만 할뿐 아무짝에 쓸모없는 학문이라는 ‘수학 혐오증’이고, 다른 하나는 수학은 이 세상 어떤 문제든 해결할 수 있다는 ‘수학 만능주의’가 아닐까 싶다.

지난해 KBS에서 방영한 드라마 ‘형수님은 열아홉’은 수학을 잘 몰라서 수학이 과장되게 표현된 대표적인 예다. 드라마에서 주인공이 수학 천재로 나오는데, 그가 수학 천재임을 드러내는 장면이 ‘1+1=2’를 증명하는 것이었다.

이 당연한 사실을 증명한 사람은 1910년대 알프레드 화이트헤드와 버트랜드 러셀이었다. 문제는 그들이 이 일을 시도한 이유가 최소한의 공리체계에서 상식적으로 잘 아는 결과를 증명할 수 있음을 보이기 위해서였지 ‘1+1=2’가 엄청난 난제였기 때문은 아니었다. 물론 그들이 ‘1+1=2’라는 명제 하나만 달랑 증명한 것도 아니었고. 그러니 이런 작업으로 천재성을 드러낸다는 것은 아무래도 작가의 오류로밖에 볼 수 없다.

지난 10월 필자는 현재 KBS에서 방영 중인 드라마 ‘눈의 여왕’ 제작진에게 수학 자문을 요청받았다. 한국 드라마에서 자연과학이나 공학을 부정확하게 묘사하는 장면이 나오면 눈에 가시처럼 걸렸던 터라 흔쾌히 자문에 응했다. 여기에 주인공을 수학 천재로 만들기 위한 뒷얘기와 드라마에서 소상히 밝히지 못한 수학 문제의 해답을 풀어놓는다.
 

SCENE 1. 선택공리 천재 소년은 누구?

줄거리_ 주인공인 한태웅(현빈 분)은 뛰어난 수학 실력으로 한국과학고에 입학한다. 한편 한태웅의 라이벌인 김정규(이선호 분)는 어려서부터 주변의 기대를 한 몸에 받았던 천재 소년이었다. 이 둘은 첫 번째 수학 시간부터 은근히 경쟁한다.

둘의 경쟁심을 부추기는 장면에서 제시된 문제는 다음과 같다. ‘실수에서 정의된 함수가 모든 실수 x, y에 대해 $f(x+y)=f(x)+f(y)$를 만족하고, $f(1998)=16$이다. 이때 이 함수와 $f(2002)$의 값을 구하라.’

이 문제를 푸는 일은 사실 크게 어렵지 않다. x, y가 0인 경우부터 시작해서 차근차근 써 보면 유리수 x에 대해 $f(x)=\frac{16}{1998}x$라는 결과를 얻을 수 있다. 그럼에도 이 문제를 설정한 이유는, 김정규가 모든 실수에 대해서도 $f(x)=\frac{16}{1998}x$라는 실수를 범하고 한태웅이 김정규의 풀이에서 오류를 지적하면서 서로 라이벌이 되는 상황을 만들기 위해서다.

한태웅이 김정규에게 제기한 문제는 이렇다. 실수 x로 수렴하는 유리수열 {${x}_{n}$}에 대해

$f\left(\underset{n\to \infty }{lim} {x}_{n}\right)=\underset{n\to \infty }{lim} f\left({x}_{n}\right)$

이 항상 성립하겠냐는 것이었다. 함수 $f(x)$가 연속함수라면 이 등식은 당연히 성립하지만 일반적으로는 극한과 함수의 위치를 바꿀 수 없다. 한 예로 가우스 기호([ ])와 극한의 위치를 바꿀 수 없기 때문에 유한수열에 대해 [0.9]=0, [0.99]=0, …, [0.99…9]=0이지만 무한수열에 대해 [0.99…]=1이 된다.

극중 수학 선생님은 한태웅의 지적에 박수를 보내며 “진짜 수학은 문제를 푸는 게 아니라 문제가 뭔지 발견하는 것”이라고 말한다. 실제로 수학의 역사에서 이런 경우가 많다. 공대생을 괴롭히는 푸리에 변환(Fourier Transform)은 열전도 미분방정식을 풀기 위해 만들어졌지만 지금은 그와 완전히 별개의 이론으로 발전했다. 집합론은 엉뚱하게도 게오르그 칸토어가 적분을 연구하다가 발견했지만 지금은 수학의 기초로 자리잡았다.

이 문제도 문제 자체는 단순하지만 그 뒤에는 집합론에서 가장 기묘한 발견이라 할 수 있는 ‘선택공리’가 숨어있다. 선택공리는 20세기 초 독일의 어니스트 체르멜로가 발견한 것으로 지금도 수리논리학 분야의 큰 주제 가운데 하나로 꼽힌다. 선택공리가 참이라면 문제의 조건을 만족하면서 $f(x)=\frac{16}{1998}x$가 아닌 이상한 함수를 만들 수 있다. 그렇지만 불행히도 이런 함수가 존재한다고 증명만 할 수 있을 뿐 함수가 어떤 꼴인지는 알 수 없다.

사실 드라마에 한태웅이 선택공리의 필요성에 대해 어렴풋이 인식하는 장면을 넣고 싶었지만 이렇게 되면 멜로물이 아니라 수학 전문 드라마가 될 이쯤에서 자제를 했다.

정수론 표절인가 아닌가

줄거리_ 한태웅과 김정규는 각각 좋은 수학 논문을 한 편씩 쓴다. 그런데 김정규는 한태웅의 논문과 똑같은 내용의 논문이 몇 년 전 학술지에 실려 있다고 폭로한다. 이로 인해 한태웅은 논문을 표절했다고 오해받는다.

한태웅의 논문은 자연수 n이 커지면서 코브로지(Kobrodsy) 함수 K(n)이 어떤 값에 가까워지는지를 증명하는 것이었다. 어떤 함수가 매우 큰 값에서 보이는 양상을 보통 ‘점근적 행동’(asymptotic behavior)이라고 하는데, 자연수에서 정의된 함수에 대해 이런 연구를 하는 경우가 많다.

그리고 이런 연구에는 미적분과 같은 해석학적인 접근을 많이 하기 때문에 이 분야를 ‘해석적 정수론’(analytic number theory)이라고 부른다. 극중에서 한태웅의 논문을 미적분이나 극한이 나오는데도 ‘정수론 논문’이라고 부르는 이유다.

해석적 정수론의 가장 대표적인 결과로는 n이 커지면서 n보다 작은 소수의 개수가 $\frac{n}{logn}$과 비슷해진다는 ‘소수 정리’(prime number theory)가 있다. 이 정리는 칼 프리드리히 가우스도 예상했지만 그의 제자인 게오르그 리만이 본격적으로 증명했다. 리만은 생애에 딱 한편의 정수론 논문을 썼는데, 그 논문에서 바로 유명한 ‘리만 가설’을 제시하면서 그로부터 소수 정리를 비롯한 여러 결과가 유도된다는 점을 보였다. 소수 정리 자체는 리만 가설과 상관없이 아다마르와 드 라 발레 푸생이 증명했다.

어쨌든 문제는 한태웅의 논문을 표절처럼 보이게 만드는 일이었다. 수학의 세계에서 동일한 명제를 비슷한 방법으로 증명하는 경우는 드문 일이 아니어서 단순히 비슷한 정도로는 별 문제가 되지 않는다. 그렇다고 그야말로 문장이 똑같다면 표절이 아니고서는 불가능하다. 언뜻 표절처럼 보이지만 사실은 우연의 일치였고, 이를 계기로 한태웅과 김정규가 절친한 친구가 된다는 조건을 만족시키려고 오랫동안 고민했다.

고심 끝에 두 논문이 비슷한 방법으로 똑같은 결론을 내리면서 마지막에 “극한값이 $\frac{1}{ζ(n)}$이 될 것으로 예상된다”는 똑같은 코멘트를 붙이는 것으로 처리했다. 그 다음으로 오해를 풀기 위해 원본이 되는 논문의 부등호 하나가 반대로 인쇄돼 똑같은 결과처럼 보였을 뿐 실제로는 두 논문이 정반대의 결과를 보인다고 설정했다. 원본으로 생각되던 논문에는 극한값이 $\frac{1}{ζ(n)}$보다 작거나 같음을 보였고, 한태웅의 논문에는 극한값이 $\frac{1}{ζ(n)}$보다 크거나 같음을 보였다. 두 결과를 합하면 극한값은 정확히 $\frac{1}{ζ(n)}$이 되므로 한태웅의 뛰어난 통찰력이 오히려 표절의 증거가 된 셈이다.

참고로 극중에서 코브로지 함수를 ‘아마드 코브로지’(Amard Kobrodsy)라는 수학자가 만들었다고 했는데, 이 사람은 실존 인물이 아니다. ‘Amard’라는 이름은 ‘drama’를 뒤집었고, ‘Kobrodsy’는 KBS(Korea Broadcasting System)의 머리글자를 조합해서 만들었다.

행렬식 내 안의 수학 본능

줄거리_ 한태웅은 우여곡절 끝에 여주인공 김보라(성유리 분)의 운전기사가 된다. 한태웅은 김정규의 죽음으로 자신이 수학 천재라는 사실조차 잊었지만 여전히 수학에 대한 천부적인 재능을 잃지 않았다. 우연히 김보라의 경영수학 보고서에서 마지막 증명 문제 하나가 풀리지 않았다는 사실을 발견한 한태웅은 자기도 모르게 홀린 듯 즉석에서 증명을 써 넣는다.

한태웅이 발견한 마지막 증명 문제는 다음의 부등식을 증명하는 것이었다. ‘두 행렬 A와 B가 양의 정부호 대칭행렬일 때, 다음 부등식을 증명해라. det(A+B)≥detA+detB’

여기서 ‘det’는 행렬식(determinant)을 나타내는데, 고등학교 행렬에서 D=ad-bc로 정의하는 식을 일반화한 것이다. 행렬식은 연립방정식, 치환적분, 미분방정식의 풀이 등 수학의 곳곳에 등장하는 중요한 개념이다. 한 가지 특이한 사실은 행렬보다 행렬식의 개념이 훨씬 먼저 등장했다는 점이다. 고트프리트 라이프니츠가 행렬식의 개념을 생각해내기 10년 전인 1683년 일본의 세키 다카카즈가 최초로 발견했다.

물론 당시 동서양의 수학 사이에 교류가 거의 없었기 때문에 이 발견이 서양 수학에 미친 영향은 전혀 없다. 현재 우리가 배우는 수학이 대부분 17세기 이후 서양 수학이니 일본에서 이런 발견이 있었다는 사실도 거의 알려져 있지 않다.

세키는 그밖에도 수많은 개념들을 서양보다 먼저 발견했다고 전해진다. 개인보다 집단을 중시하던 일본의 학풍으로 봐서 이 모든 것이 세키의 업적은 아니겠지만 당시 일본의 수학 수준이 꽤 높았음은 분명하다. 어떤 의미에서 현재 일본의 수학이 세계적인 수준인 데에는 이런 수학 전통이 바탕이 됐다고도 할 수 있다.

다시 문제로 돌아오자. 두 행렬을 곱한 행렬식은 각각의 행렬식을 곱한 경우와 같지만 합에 대해서는 일반적으로 성립하는 관계가 없다. 그래서 몇 가지 조건 아래 행렬식에 대한 부등식을 증명하는 일은 그 자체로 한 편의 논문이 되기도 한다. 예전에 필자도 이 부등식을 증명하고서 무척 기뻐했는데, 나중에 알고 보니 이미 잘 알려진 결과여서 실망한 적이 있다.

한태웅이 증명한 것은 주어진 문제보다 더 일반적인 부등식인 $det{(A+B)}^{1/n}≥{(detA)}^{1/n}+{(detB)}^{1/n}$이다. 여기서 n은 양의 정부호 대칭행렬 A, B의 크기(행의 수)다. n=3까지는 고등학교 수학실력으로 풀 수 있지만 그 이상이 되면 다소 까다로운 전문 지식이 필요하다. 그래도 관심 있는 분은 증명에 도전해 보시길(풀이는 아래 참조).

‘굿 윌 헌팅’ ‘뷰티풀 마인드’ ‘큐브’ 등 수학을 다룬 영화는 많았다. 또 미국에는 ‘넘버스’(Numb3rs)처럼 수학으로 사건을 해결하는 드라마까지 있다. 그렇지만 우리나라에서 수학을 소재로 다룬 드라마는 그리 많지 않았다. 수학이 주가 되는 드라마는 아니지만 이번 드라마를 계기로 수학이 일반인에게 좀 더 친숙해지기를 기대해 본다.

가우스 기호 : 실수 x에 대해 x를 넘지 않는 최대 정수를 말한다

선택공리 : 임의의 집합은 공집합이 아닌 모든 부분집합에 속하는 대표 원소를 하나씩 택해서 새로운 집합을 만들 수 있다.