‘수학이란 무엇인가’를 다루기에 앞서, 수학에서 어떤 대상을 연구하는지 이야기를 나눠보려고 한다. 수학의 연구 대상은 꾸준히 확장돼 지금은 다루지 않는 것이 없을 정도다. 그렇다면 수학적 대상은 발견한 것일까? 혹은 발명한 것일까?
이 논의는 단순히 수학적 대상뿐 아니라 수학의 전반에 대한 이해를 도울 것이다.
첫 번째 질문 | 수학적 대상은 어떻게 발전해왔는가?
수학자 : 역사적으로 가장 오래된 수학적 대상은 무엇인가요?
인문학자 : 수학은 ‘수에 관한 학문’이라는 뜻이잖아요. 그런 점에서 생각해보면 셀 수 있고, 계산할 수 있는 대상이 가장 오래됐다고 할 수 있어요. 대부분의 고대 문명에서 셈과 계산은 국가의 존립을 위해서 꼭 필요했어요. 국가는 세금을 거둬들여서 정치 체제를 유지하므로, 관료가 되려면 세고 계산하는 능력이 좋을수록 유리했습니다.
고고학자가 발굴한 기록물에 그 흔적이 많이 남아있어요. 한 예로 기원전 2000년경 고대 잉카 문명에서 사용했던 것으로 알려진 ‘키푸’가 있어요. 키푸는 꼬인 새끼줄에 매듭을 만들어 셈과 계산을 하던 도구예요.
수학자 : 교수님 말씀처럼 세고 계산한 대상이 가장 오래된 수학적 대상이라고 말할 수 있겠네요. 저도 약 2만 년 전에 셈을 기록한 ‘이상고 뼈’에 관한 이야기를 들은 적이 있어요. 이외에는 어떤 것이 수학적 대상으로 다뤄졌나요?
인문학자 : 잴 수 있는 것 또한 일찍부터 수학적 대상으로 고려됐어요. 기하학은 토지를 재는 필요에 의해서 시작돼 점점 더 복잡하고 다루기 어려운 모양의 넓이, 부피를 재는 방법으로 발전해왔는데요. 그중 우리에게 지대한 영향을 미쳤던 그리스 기하학에서는 잴 수 있는 대상을 추상화하는 작업까지 병행했어요.
고대 그리스 철학자 아리스토텔레스(기원전 4세기경)는 저서 <;형이상학>;에서 ‘제거’, ‘빼기’라는 뜻의 그리스어 ‘아파이레시스(aphairesis)’로 추상화를 설명했습니다. 그는 우리가 일상에서 접하는 대상에서 감각적인 성질을 다 제거하고 오직 양만 남겨 추상화한 대상을 기하학적 대상이라고 설명했는데요. 감각적인 성질은 무거움과 가벼움, 밝음과 어둠, 딱딱함과 부드러움, 뜨거움과 차가움 등 오감을 통해서 느끼는 것을 말해요.
얼핏 들으면 어려운데 오늘날 기하학에서 다루는 도형을 생각해보면 이해하기 쉬워요. 예를 들면 기하학에서 점은 크기가 없고, 선은 굵기가 없다고 가정해요. 이것이 전부 추상화 과정이라고 할 수 있습니다. 수학에서 더 본질적인 양 사이의 관계를 탐구하기 위해서 부가적인 속성을 덜어낸 것이지요.
수학자 : 그렇다면 수학적 대상은 어떻게 확장됐나요?
인문학자 : 크게 두 가지 측면이 있는데요. 먼저 문명마다 어떤 ‘기본 행위’에 더 집중하는지에 따라 수학이 다양한 모습으로 전개됐어요. 그리스에서는 상대적으로 ‘재는 것’에 집중해서 기하학이 훨씬 더 많이 발전했고, 중국이나 인도에서는 0이나 음수를 도입하는 등 ‘세고 계산하는 쪽’에 특화됐습니다.
한편으로는 새로운 행위가 수학에서 다루는 행위에 포함되면서 수학적 대상이 확장됐어요. 예를 들어 고대에는 여러 사건 중에서 어떤 일이 일어날 가능성을 가늠하는 일에 큰 관심이 없었어요. 중세와 초기 근대 유럽에서 불확실한 상황을 다루기 시작하면서 확률을 계산할 수 있는 사건도 수학적 대상으로 자리매김했어요. 비슷한 맥락에서 기하학 연구도 도형뿐 아니라 그 도형이 놓인 공간의 관계나 구조 등을 생각하는 행위로 확장됐지요.
정리해보면 수학의 발전은 수학이 다루는 대상이 끊임없이 확장되는 과정으로 이해할 수 있어요. 이 확장은 수학의 많은 하위 분류를 만드는 결과로 이어졌지요. 지금은 수학적 대상이 무엇인지를 말하는 것보다 수학적 대상이 아닌 게 뭐가 있느냐를 말하는 게 더 쉬울 정도로 수학의 연구 대상이 곳곳에 다 스며들어 있어요.
두 번째 질문 | 수학자가 관심이 있는 대상은 무엇인가?
인문학자 : 오늘날 수학자가 생각하는 수학적 대상은 무엇인가요?
수학자 : 대수학에서는 셀 수 있고 계산할 수 있는 것, 기하학에서는 잴 수 있는 것이 다 수학적 대상이에요. 지난 번에 미적분학을 다루면서 이 세상의 모든 움직이는 것은 결국 다 미적분학의 대상이라는 이야기를 했었지요. 그렇게 보면 ‘이 세상 모든 게 수학적 대상’이라는 만물 수학주의를 외칠 수도 있어요.
하지만 조금 더 정확하게 말하면 수학적 대상은 수학적으로 정의되거나 표현할 수 있는 것이에요. 예를 들어 축구공을 수학적 대상이라고 말할 수 있는 건 축구공 자체보다도 그 형태인 구라는 대상 때문이에요. 마찬가지로 수학적 대상으로 여겨지는 피라미드도 엄밀히 보면 사각뿔이 수학적 대상인 거지요.
인문학자 : 비눗방울, 종이접기를 연구하는 수학자가 있듯이 그 안에 담긴 수학적인 본질을 캐낼 수만 있으면 수학적 대상이 되는 것 같아요. 그렇다면 보이지 않는 것, 감각으로 잘 포착하기 어려운 것도 수학적 대상인가요?
수학자 : 예리한 질문인데요. 수학에서는 보이지 않는, 추상적인 대상도 다뤄요. 숫자야말로 대표적인 추상적 대상이에요. 우리가 1, 2, 3을 자연스럽게 세고 다루지만, 숫자 3이라는 물리적 대상이 실존하는 건 아니에요. 사람 3명과 사과 3개라고 쉽게 이야기하지만, 3이라는 개념 자체는 굉장히 추상적이지요.
수에 관해 더 이야기해보자면 우리는 자연수를 넘어서 정수, 유리수, 무리수, 실수, 나아가서 허수까지 확장해나가요. 제곱해서 음수가 되는 허수는 보이지 않는 수인 동시에 인위적으로 만든 개념이에요. 하지만 이 수가 현실 세계를 잘 설명하는 부분이 있어서 꼭 필요하지요. 이렇게 보이지 않는 대상을 다루는 것이야말로 수학의 특징이라고 할 수 있지요.
잠시 제 전공 이야기를 하자면 저는 군론이라는 대수학의 분야를 연구하고 있어요. 군론은 ‘대칭’을 수학으로 연구하는 분야예요. 수학 시간에 흔히 배우는 거울대칭, 회전대칭처럼 어떻게 이동이나 움직임을 가해도 변하지 않는 것을 대칭이라고 말하지요.
그런데 대칭은 앞서 이야기한 세는 것, 계산하는 것, 재는 것도 아니고 좀 더 추상적인 개념이지만, 마찬가지로 수학적 대상이지요. 그런 의미에서 군론은 보이지 않는 대상을 다루는 대표적인 분야라고 생각할 수 있지요.
인문학자 : 이렇게 다양한 수학적 대상을 다룸으로써 얻는 이점이 있을까요?
수학자 : 3명의 사람, 3개의 사과가 3이라는 추상적 개념 안에서 하나로 묶이듯이, 서로 연관이 없어 보이는 관계에서 공통점을 찾고 그 문제를 일반화해서 해결할 수 있는 강력한 도구를 만들기 위해 수학적 대상의 추상화가 이뤄졌어요. 숫자 대신 x로 대표되는 ‘미지수’라는 개념을 통해 답을 모르는 문제를 수식으로 나타냈고, 기하와 대수의 만남을 통해 수식이 그래프로 연결되면서 2차원, 3차원을 넘어 n차원 상의 대상으로 확장할 수 있었지요.
결국 수학적 대상을 다루는 주목적이자 인류가 진화하면서 이런 수학적 대상들을 다룰 수밖에 없었던 이유는 우리가 사는 복잡한 세상을 어떻게든 이해하기 위해서예요. 세상에는 지금도 저희가 이해하거나 해결할 수 없는 문제가 너무 많아요. 수학적 대상은 복잡한 문제를 그나마 단순화하고 일반화하기 위한 인류의 시도라고 생각해요.
“수학이 단순하다는 것을 믿지 못하는 사람들은 분명 우리의 삶이 얼마나 복잡한지 깨닫지 못하는 사람들이다.” 헝가리 출신의 미국 수학자 존 폰 노이만(1903~1957)은 이런 말을 남겼어요. 수학적 대상을 다뤄서 얻는 이점 혹은 이유를 가장 정확하게 요약해주는 말이라고 생각합니다.
세 번째 질문 | 수학은 발견인가, 발명인가?
인문학자 : 수학적 대상이 정말 다양하다 보니까 가끔은 수학자가 이 대상을 만들어내는 것 같기도 하고, 자연에 숨겨 있던 대상을 발견하는 것 같기도 한데요. 수학의 언어가 충분히 정립되지 않았던 때, 특히 고대에는 자연에서부터 수학의 언어를 길어 올리는 노력이 중요했어요. 기하학을 예로 들면 자연에서 발견할 수 있는 모양과 그 도형 간의 관계를 적절하게 표현할 언어를 정교하게 다듬는 데 시간이 많이 걸렸어요. 이 수학의 언어가 어느 정도 갖춰질 때까지는 자연에서부터 수학적 대상을 발견하면서 겸손하게 배울 수밖에 없는 거지요.
이 수학적 발견이 포화 상태에 이르게 된 이후에는 발명하는 것처럼 수학자가 새로운 이론을 세우고, 서로 다른 분야를 연결하기 시작했어요. 수학자의 적극적이면서 창의적인 접근이 조금 더 중요해졌지요. 좌표평면을 통해 기하학과 대수학을 통합한 프랑스 수학자 르네 데카르트(1596~1950)가 그런 경우였어요.
다만 이 경우도 자연 세계를 수학의 눈으로 더 깊이 바라보기 위한 일종의 렌즈를 정교하게 다듬는 과정이라고 할 수 있어요. 비유하자면 과학사에서 망원경과 현미경을 발명하면서 맨눈으로 볼 수 있었던 것 너머의 세계를 발견할 수 있게 됐거든요. 수학자가 새롭게 발명하는 여러 개념과 이론 또한 지각의 한계를 넘어서 더 놀라운 수학적 세계를 발견하기 위한 노력이라고 생각해요. 그렇다면 수학자는 수학을 발견과 발명 중 무엇으로 보나요?
수학자 : 수학자 사이에서도 의견이 갈리는 어려운 질문이에요. 그렇지만 저를 포함한 많은 수학자가 둘 다라고 대답해요. 수학은 100% 발명 혹은 100% 발견이라고 아주 극단적으로 이야기하기 쉽지 않아요. 저는 그 본질이 발명보다는 발견에 좀 더 가깝다는 의견이에요.
예를 들어 원주율 π를 생각해볼게요. π라는 그리스 문자는 당연히 발명품이에요. 그렇지만 원주율이라는 개념 자체는 어떤 원의 둘레를 그 원의 지름으로 나눴을 때 나오는 비율을 의미해요. 인류가 만든 수학과는 상관없이 항상 똑같아야 하는, 마치 어떤 절대자가 만든 세상의 법칙처럼 존재하는 비율이지요. 그런 의미에서 우리가 연구하는 대상은 발견에 가깝고, 그 대상을 관측하고 표현하기 위한 언어는 발명한 것으로 볼 수 있지요.