어떤 호주의 원주민 부족은 숫자를 셀 수 있는 단어가 세 개뿐이다. 하나, 둘, 그리고 많이. 그들이 사용하는 단어 ‘많이’는 ‘머리카락’이라는 뜻으로도 쓰인단다. 이 부족이 숫자를 세 개밖에 쓰지 않는다고 해서 세상에 단 세 개의 숫자만 존재하는 것은 아니다. 당장 눈앞에만 해도 손가락 열 개가 존재하기 때문이다. 그런데 모든 숫자의 발견이 이렇게 간단하지는 않다. 오늘의 주인공은 허수는 더욱 그렇다.
삼차방정식에서 허수를 캐내다
이차방정식의 근의 공식처럼, 삼차방정식의 일반적인 풀이는 중세 수학자들의 오랜 염원이었다. 14세기 후반 익명의 수학자가 남긴 기록에 첫 단서가 나온다. 일반적인 삼차방정식 x3+ax2+bx+c=0은 x를 t - 3/a으로 치환하면 t3+pt+q=0의 형태로 바꿀 수 있다는 것. 덕분에 이차항이 없는 x3+px+q=0의 일반해를 찾을 수 있으면, 모든 삼차방정식의 일반해를 찾을 수도 있게 됐다.
시간이 흘러 이탈리아 볼로냐대의 수학자 스키피오네 델 페로는 1526년 임종을 앞두고 제자인 피오레에게 한 가지 고백을 한다. 사실 자신이 x3+px=q 형태의 3차 방정식의 일반해를 찾았고, 그것을 너에게만 알려주겠노라고 말이다. 피오레는 스승의 비기를 품고 또 다른 이탈리아의 수학자인 타르탈리아와 방정식 풀이 대결을 벌인다(당시 이탈리아에서는 결투가 유행이었다). 그런데 대결 전날 밤, 타르탈리아는 극적으로 페로가 발견한 일반해를 스스로 발견하고, 이 공식의 도움으로 피오레와의 대결에서 승리를 거둔다.
하지만 페로와 타르탈리아의 증명은 허점이 많았다. 이 삼차방정식의 근의 공식을 제대로 증명한 것은 또 다른 이탈리아의 수학자 지롤라모 카르다노다. 카르다노는 피오레와 타르탈리아의 대결 소식을 듣고 타르탈리아에게 찾아가 방정식의 해법을 알아냈다. 카르다노는 타르탈리아의 공식에서 영감을 얻어 삼
차방정식의 일반해를 완전히 증명하는 데 성공했고, 이를 책으로 출판했다. 복잡한 치환을 거쳐 유도된 x3=px+q의 일반해는 아래와 같다.
별 거 아닌 것 같지만 허수를 사칙연산에 적용한 것은 대단히 과감한 생각이었다. 음수라는 개념도 생소했던 시기였는데, 근호 안에 음수를 도입한다는 것은 엄청난 도전이었다. 하지만 허수는 마치 원래부터 그 자리에 있던 것처럼, 분배법칙 같은 대수의 기본적인 연산규칙에 잘 맞아 떨어졌다. 새로운 연산 법칙
을 추가하지 않아도 허수를 곱하고, 나누고, 더하는 데 아무런 문제가 없었다. 이동환 부산교대 수학교육과 교수는 “카르디노가 삼차방정식에서 허수를 찾아냈다면, 봄벨리는 수학자들이 허수를 사용할 수 있게 만든 기술자”라고 말했다.
하지만 허수가 수학의 빈공간을 채우기 시작하자 수학자들의 인식이 바뀌기 시작했다. 예컨대 ‘n차 방정식은 n개의 근을 갖는다’는 명제는 대수학의 아주 기초적인 규칙이다. 하지만 허수와 실수로 이뤄진 복소수가 없다면 이 명제는 온전히 성립하지 않는다. 판별식이 음수인 2차 방정식은 실수 근이 존재하지 않기 때문이다. 때문에 복소수가 나오기 전에는 ‘n차 방정식은 n개 이하의 근을 갖는다’ 같은 두루뭉술한 말로 명제를 대신할 수밖에 없었다. 방정식을 인수분해하는 데 관심이 많았던 데카르트도 이 점에서는 허수의 필요성을 인정했다.
모두가 허수를 인정하게 된 결정적 계기는 복소수를 평면에 그리고 나서다. 실수로 이뤄진 2차원 좌표평면처럼, 허수를 한 축으로 하는 새로운 평면이 등장한 것이다. 복소평면이라고 불리는 이 평면은 노르웨이의 베셀(1799년), 프랑스의 아르강(1806년), 독일의 가우스(1831년) 등 세 명의 수학자가 독립적으로 만든 개념이지만 원리는 같다(사실 가우스는 1797년 n차 방정식은 n개의 근을 갖는다는 것을 복소평면에서 증명했다. 그러나 허수를 평면 상에 그린다는 것이 워낙 추상적인 개념이라 발표를 포기했다).
이들 세 명이 복소평면을 만든 계기는 ‘방향과 크기를 동시에 나타낼 수 있는 평면을 만들겠다’는 것이다. 실수가 무한히 늘어선 축을 생각해보자. 축 위의 한 점에 양수 A를 곱하면 이 점은 양의 방향으로 A배 만큼 전진한다. 반대로 음수 B를 곱하면 음의 방향으로 B만큼 돌아간다. 실수로 구성된 축에서는 이처럼 앞뒤로 움직일 수밖에 없다. 방향이 180°에 한정된 것이다.
허수를 곱하면 방향이 어떻게 바뀔까. 양수에 허수를 2번 곱하면 음수로 바뀐다. 두 번 옮겨서 180°가 바뀌었으니 허수를 한번 곱하는 것은 90°를 회전시킨 것이라고 볼 수 있다. 90°만큼 방향을 바꾼 숫자는 실수 축에 존재하지 않기 때문에, 실수 축과 90°로 교차하는 허수 축을 추가해야 한다. 허수로 만들어진 축은 실수 축과 세로로 직교한다. 허수 축과 실수 축이 만든 평면을 복소평면이라고 부른다. 허수라는 이름이 불만족스러웠던 가우스는 허수 대신, 측면 수(lateral number)라고 부르자고 제안하기도 했다.
복소수가 쏘아 올린 새로운 수학의 시대
방향과 크기를 동시에 나타낼 수 있는 복소평면은 어떤 현상을 수학적으로 묘사할 때 굉장히 매력적인 도구다. 특히 매순간 움직이는 방향과 크기가 바뀌는 양자와 전류의 움직임을 설명하는 파동함수는 복소수가 거의 필수적이다. 안흥주 DGIST 기초과정부 교수는 “복소수 없이도 파동을 표현할 수 있지만 매우 복잡한 형태가 될 것”이라며 “복소수는 위치와 방향을 한 번에 표현할 수 있는 최고의 도구”라고 말했다. 최근에는 다른 분야에서도 방향성과 크기를 가진 현상을 설명하는 데 복소평면을 사용하고 있다. 대표적인 예가 신경과학이다. 뉴런간의 신호를 연구하는 신경과학자들은, 복소수를 이용해 신호가 오는 방향과 크기를 수학적으로 나타낸다.
복소수와 복소평면 자체를 연구하는 수학자도 많다. 복소수로 이뤄진 다항함수인 복소함수와 복소평면 위의 구, 도형 등을 연구하는 복소기하학이 복소수와 관련된 연구 분야다. 그중에서도 복소수와 관련된 가장 유명한 문제는 리만 가설이다. 리만 가설은 x보다 작은 소수의 개수를 추정하는 소수 정리에서 출발한 문제인데, 이를 복소평면 위의 함수로 확장할 수 있다. 이 함수를 리만 제타함수라고 부른다.
허수의 발견과 복소평면의 확장을 살펴보며, 숫자의 실체가 부질없음을 깨달은 독자가 많을 것이다. 처음에 언급했던, 숫자가 세 가지밖에 없는 호주의 원주민에게 새로운 숫자를 가르치려고 하자 대부분이 완강히 거부했다고 한다. 배우려고 나선 일부 원주민들은 끝내 다른 숫자의 개념을 익히지 못했다고 한다. 원주민들의 숫자에 더 큰 그 숫자가 없다고 해서 실제로 그 숫자가 존재하지 않는 것은 아니다. 허수의 실체를 찾는 과정도 마찬가지다. 숫자의 존재와 비존재, 숫자의 범위는 단지 인간이 연산할 대상에 부여해놓은 제약에 불과하다. 제약을 넘어 새로운 숫자를 찾아내면, 존재하지 않음은 존재함으로 언제든지 바뀔 수 있다.