우리 주변의 세상을 해석하는 다양한 방법이 있습니다. 수학자 중에서도 기하학자들은 세상을 어떻게 바라볼까요? 7월 8일 포항공과대학교에서 만난 오용근 기초과학연구원(IBS) 기하학 수리물리 연구단 단장은 “일반적으로 고등학교 이하 학년에서 배우는 기하는 도형을 의미한다”며 “하지만 전문적인 관점에서 기하학은 세상 속에서 구조를 찾고, 그 구조의 상관관계를 연구하는 학문”이라고 말했어요. 우주의 별(항성)과 행성도 여러 힘에 의해 특정 구조를 형성하고, 우리 주변에 있는 수많은 데이터도 잘 분류해보면 저마다의 구조를 이루죠. 우리 주변의 현상을 구조로 파악해 수학적으로 분석하는 사교 기하학자, 오 단장의 이야기를 들어봤습니다.

Q 수학과의 첫 만남은 언제였나요?

초등학생 시절에 변변한 장난감이 없어 형이 풀던 참고서를 흥미롭게 보곤 했어요. 그걸 계기로 자연스럽게 수학 문제를 풀기 시작했죠. 그때는 특별히 수학을 좋아했던 것은 아니에요. 자연과학의 모든 분야에 관심이 있었어요. 천문학자에서 수학자로, 다시 화학자로 제 꿈은 해마다 바뀌었어요. 그러던 중 중학교 3학년 때 물리학자가 되기로 결심했죠. 알베르트 아인슈타인의 일반 상대성 이론을 동경하는 마음이 생겼기 때문이에요. 그때부터 대학교에 들어갈 때까지 제 꿈은 변하지 않았어요.

Q 수학자의 길을 선택한 결정적 계기는 무엇인가요?

1979년 서울대학교 자연대학(현 자연과학대학)에 입학했는데 2학년이 되면서 전공을 결정해야 했습니다. 그때 저는 수학과 물리학 중 어느 분야를 택할지에 대한 고민이 컸습니다. 대학교 1학년 동안 물리학과 수학 과목을 들어보니 저의 적성이 수학에 가깝다고 느껴졌기 때문이에요. 그렇다고 오래 품어온 물리학자의 꿈도 쉽게 포기하진 못했죠. 답을 찾기 위해 수학을 담당했던 고등학교 담임 선생님을 찾아갔어요. 담임 선생님은 “너의 꼼꼼하고 치밀한 성격을 볼 때 물리학보다 수학이 더 어울린다!”라고 말해주셨죠. 물리학자는 알고 싶은 현상이 있으면 수식을 찾고, 그 현상을 잘 설명하는지를 연구해요. 하지만 수학자는 한가지 수식이 갖는 모든 구조를 파악할 때까지 매달리죠. 그런 면에서 수학자라는 직업이 저한테 꼭 맞는 일이라고 생각합니다.

Q 어떻게 기하학 분야 연구를 시작하게 됐나요?

우리를 둘러싼 세상의 구조를 파악해 설명하는 기하학이나 물리 현상을 수식으로 구현하는 수리물리 분야에 관심이 있었어요. 그래서 1983년 9월 미국 버클리 캘리포니아대학교 수학과에 입학해 박사과정을 시작했어요. 첫 학기가 시작한지 2개월이 지났을 즈음, 학교 내에서 순수수학적인 관점에서 기하학이나 수리물리를 연구하는 것으로 알려졌던 앨런 와인스타인 교수를 찾아갔죠. 미국에는 ‘리딩 코스(reading course)’라는 게 있는데, 강좌가 없을 때 교수가 학생의 학습을 도와주는 프로그램이에요. 와인스타인 교수가 지정한 수학책을 공부하고 매주 한 번씩 만나서 질문하며 궁금증을 해결했죠. 결국 그를 지도교수로 선택했고 비선형 슈뢰딩거 방정식과 관련한 편미분방정식을 주제로 박사 논문을 완성했어요. 졸업할 때는 학과에서 좋은 응용수학 논문을 쓴 학생에게 수여하는 버나드 프리드만상을 받았어요.

Q 현재 연구하는 사교 기하학이란 무엇인가요?

19~20세기에는 물리학 연구가 곧 수학 연구였죠. 당시 물리학에서 거시세계를 설명하는 고전(뉴턴)역학은 소립자의 세계를 설명하는 양자역학의 등장으로 흔들리기 시작해요. 그리고 고전역학으로는 도저히 풀기 어려운 역학 문제가 끊임없이 제기됐어요. 당시 연구자들은 고전역학을 재구성했는데 이 과정에서 기하학적인 구조를 바탕으로 하는 해밀턴 역학이 등장해요. 해밀턴 역학에 들어있는 기하학을 연구하는 것이 사교 기하학(Symplectic Geometry)이에요. 제가 박사과정을 밟은 지 2년쯤 지난 1985년, 러시아 수학자 미하일 그로모프가 ‘유사정칙 곡선’이라는 새로운 기하학적 도구를 발견해 20년간 풀지 못한 ‘조임 불가능성 정리’ 문제를 풀었어요. 이런 유사정칙 곡선을 기술하는 방정식이 제가 박사과정 때 연구한 비선형 슈뢰딩거 방정식을 연구하는 방법론과 유사해서 해석학적인 시각을 갖춘 사교 기하학자로 성장할 수 있었습니다.

Q 국제 교류 연구를 꾸준히 해오셨다고 들었습니다.

1994년 영국 케임브리지대학교에 있는 뉴턴 수리과학연구소에서 초청연구원으로 일할 기회가 생겼고, 그해 이 연구소에서 열린 사교 기하학회에서 후카야 켄지 당시 도쿄대학교 교수(현 미국 사이먼 기하학-물리 연구 센터 교수)를 만났습니다. 우리는 합심해 사교 기하학의 해석학적 문제를 풀었고, 관련 논문을 1997년 ‘아시아 수학 저널’ 창간호에 실었어요. 또 사교 기하학계의 해석학적 도구 중 하나로 쿠라니시 구조가 있는데요. 수학 학계에서는 이에 대한 명확한 설명이 필요하다는 요구가 있었어요. 2020년에 저는 후카야 교수 등 3명의 연구자와 함께 집필한 ‘쿠라니시 구조와 가상 기초 체인’이란 책을 출간했어요. 같은 분야에 대한 폭넓은 흥미와 상호 보완적인 연구역량이 맞닿아 있었기 때문에 후카야 교수 등과 오랜 시간 공동연구와 집필 작업을 진행한 것 같습니다.

Q 2012년 한국행을 택한 이유는 무엇인가요?

학부를 졸업하고 미국 유학길에 올랐지만 1990년대 말부터 저의 발길은 한국을 향했어요. 1998년에 미국 위스콘신대학교 수학과 조교수직을 무급 휴직하고 2년간 고등과학원(KIAS)에서 근무했어요. 그 이후에도 2007년까지 매년 KIAS를 방문해 연구를 진행했고 한국의 순수수학 연구가 발전할 수 있는 길을 고민했어요. 2008년부터는 매년 여름 포항공과대학교를 찾아 연구를 진행했고요. 이런 과정들이 한국에 자리 잡기 위한 토대가 된 것 같아요. 2012년 IBS 연구단장 자리에 지원했고, 그때부터 이곳에 뿌리를 내리게 됐습니다. 현재는 15~20명의 박사후연구원과 함께 기하학과 수리물리학이라는 큰 범주 안에서 다양한 세부 연구를 진행하고 있습니다.

Q 연구 과정에서 가장 힘들었던 일은 무엇이었나요?

동역학 분야에서 30여 년간 풀리지 않고 남아 있던 수학적 추측을 2005년부터 풀려고 씨름했어요. 그러던 2019년 다른 수학자가 새로운 수학적 도구로 그 문제를 풀었죠. 약 3주간 정신이 멍한 상태로 있었던 것 같아요. 이를 인정하고 다시 새로운 주제를 찾아 연구에 매달리는 것이 최선의 해결책이죠.

Q 앞으로의 연구 목표는 무엇인가요?

사교 기하학의 세부 분야 중 하나인 접속 기하학(Contact Geometry)의 짝수 차원과 홀수 차원 문제들을 설명해야 해요. 저는 특히 홀수 차원에서 일어나는 사교 기하학적 구조의 얽힘을 설명하는 데 초점을 맞추고 있어요. 이를 이용하면 3차원 공간에서 데이터가 얽혀있는 상관관계나 단백질의 불규칙한 모양 등을 설명하는 문제를 풀 수 있을 겁니다. 아직 해야 할 일이 산더미지만, 그 원동력이 되는 체력관리를 빼놓을 수 없죠. 그래서 이틀마다 10km씩 달리곤 해요. 달리면서 때때로 새로운 아이디어를 얻기 때문에 수학을 연구할 때 생각의 전환을 일으키는 방법이라 믿거든요.

[수학자의 연구노트]

지평선 너머로의 여정

수십 년 동안 수학자로 살아가며 작고 큰 장애물을 만났다. 그때마다 당시에는 눈치채지 못했지만, 알고 보니 장애물을 돌파할 수 있었던 기회들이 찾아왔었다. 그중 특히 기억나는 몇 가지 중요한 순간과 그때 든 나의 생각을 나누고자 한다.

1980년대 초반 미국 유학 시절, 내가 바라보던 지평선은 박사학위였다. 2년 만에 한 편의 논문을 발표하고 줄곧 연구하던 아놀드 추측*을 부분적으로 해결하면서 지도교수님인 앨런 와인스타인 교수님을 매주 만날 때마다 “졸업해도 좋겠다”는 말 한마디를 기대했지만, 늘 실망하기 일쑤였다.

알껍데기를 깨고 나오다

그러던 1986년의 유난히도 하늘이 푸르른 날이었다. 나는 부푼 꿈을 안고 용기를 내 지도교수님께 물었다. “언제쯤 제가 졸업할 수 있을까요?” 곧 돌아온 지도교수님의 망설임 없고 직설적인 답변은 충격 그 자체였다. “지금의 너라면, 한국에 가서 학생들을 가르칠 수는 있을 거다.” 빨리 박사학위를 받고 더 넓은 곳에서 자유로운 연구를 하겠다는 포부를 가진 나는 눈앞이 캄캄했다. 내가 나의 연구 성과를 스스로 대견해 하며 하루하루를 허비하고 있을 때, 지도교수님은 성과 없이 연구를 멈춘 나를 안쓰럽게 생각하고 있던 것이다.

사실 이때쯤 같은 지도교수님 밑에서 1년을 함께 보냈던 안드레아스 플로어 당시 미국 스토니브룩 뉴욕주립대학교 박사후연구원이 미하일 그로모프의 유사정칙 곡선 이론을 해밀턴 역학과 결합해 아놀드 추측을 일반적으로 해결할 수 있는 새 이론을 만들고 있었다. 아놀드 추측을 부분적으로 해결한 나의 방법론은 별 의미가 없어진 것이다. 그 충격으로 자신감이 없어지고 과연 박사학위를 받을 수 있을까하는 의문까지 들었다.

이렇게 1986년이 끝나가던 무렵, 지도교수님이 플로어 박사후연구원과 함께하던 비선형 슈뢰딩거 방정식에 관한 연구를 나에게 넘겨주셨다. 물론 플로어 박사후연구원에게 내가 그 연구를 이어서 해도 좋다는 동의를 받은 뒤였다. 다행히 내가 아놀드 추측과 관련된 문제를 다루고 양-밀스 게이지 이론을 혼자 공부하면서 습득했던 해석학적 지식 덕분에 이 문제를 두 달 만에 해결했다. 하지만 그때는 결과에 대한 가치 판단을 할 용기도, 자신도 없었다. 그래서 문제를 풀면서 내가 스스로 떠올린 문제 한두 개를 더 해결한 뒤, 이 결과들을 논문 형태로 정리해 점검하는 데에 집중했다.

그리고 1987년 여름, 지도교수님은 나에게 말했다. “이제는 졸업해도 되겠다!” 이때가 수학자로서의 삶에서 가장 기뻤던 순간으로 남아 있다. 당시 우물 안 개구리였던 나를 진정한 연구자로서 탈바꿈시켜 준 지도교수님께 지금까지도 감사하고 있으며, 지도교수님이 보여줬던 학자로서의 기준은 내가 갖고 있던 좁디좁은 시야의 알껍데기를 깨주었다.

새로운 곳에 정착하며 만난 ‘벽’

1994년 가을, 영국 케임브리지대학교가 뉴턴 수리과학연구소(뉴턴 연구소)를 개관한 지 반년이 지났을 때였다. 그 당시 나는 미국 메디슨의 위스콘신주립대학교 조교수로 갓 임용된 뒤로, 박사과정 때 연구한 주제는 놓아두고 원래 하려던 사교 기하학을 다루고 있었다. 1991년 사망한 플로어 미국 버클리 캘리포니아대학교 교수가 창시한 이론을 보다 일반적인 경우로 확장하는 일이었다. 이 호몰로지 이론이 아놀드 추측만 풀고 끝날 도구가 아니라고 생각했기 때문이었다.

그 뒤 만 4년을 꼬박 걸려 한 편의 논문을 겨우 출판했다. 하지만 내 주위의 수학자들은 그 논문에 별로 주목하지 않았다. 더 큰 문제는 플로어 호몰로지 이론에 대한 연구가 답보하던 터라 서서히 확신을 잃고 불안해하고 있었다. 그때 뉴턴 연구소에서 창립 기념으로 사교 기하학을 주제로 한 특별 연구 프로그램을 기획했고 나도 뜻밖의 초청을 받았다. 당시 사교 기하학 분야의 전문가들은 내 연구에 흥미가 있을 거라 생각하지 못해서 더욱 갑작스러웠다. 나는 이 기회를 놓치지 않고, 프로그램 주관자에게 가을학기뿐 아니라 여름에 있는 연구 프로그램부터 6개월 동안 영국 케임브리지에 머물고 싶다고 했다. 감사하게도 요청이 받아들여졌고, 나는 아내와 다섯 살 된 아들을 데리고 영국으로 떠나기로 마음먹었다.

위스콘신대학교에 무급 휴직을 내고, 미국을 떠나 영국에 도착했다. 그해 미국과 다른 유럽 국가 모두 찜통더위에 난리였지만, 영국은 이상하게 시원했다. 그러나 훈훈했던 날씨와는 달리 영국 정착이 쉽지만은 않았다. 여름에는 뉴턴 연구소에서 생활비만 받으며 내 연구비 일부로 근근히 살아야 했고, 가을이 돼서야 충분한 급여를 받을 수 있었다. 거기다 한 학기만 체류할 외국인 신분이라 다섯 살 된 아들이 공립 유치원에 갈 수 없는 상황이었다. 그래서 연구 프로그램의 주관자 소개로 알게 된 사립 유치원에 보낼 수밖에 없었다. 이 유치원은 영국의 총리를 배출한 유명한 곳이어서 내가 뉴턴 연구소에서 받는 보수의 을 아이 유치원의 등록금으로 내야 했지만, 아이는 수준 높은 유치원 교육을 받을 수 있었다.

또 당시에 의료 보험이 없어서 임신한 아내가 몸이 좋지 않아도 병원에 가지 못하고 근근이 참고 버티던 어느 날, 배 속의 아이를 위해 큰맘 먹고 병원에 가서 온갖 검사를 받았다. 그리고서 걱정하며 물어본 비용이 공짜라고 해서 마음을 놓은 적도 있다. 영국에서의 처음 두 달은 차 없이 걷거나 버스를 타고 다니다가, 두 달이 지나서야 비로소 20년 된 650파운드(당시 약 90만 원)짜리 중고차를 샀다. 그제야 아내가 시장을 가는데도 문제없게 됐고, 주말에는 근처에 있는 명소에도 방문하곤 했다. 시원한 여름에 감사했고, 이제는 물과 우유를 사러 오래 걷지 않아서 좋았다. 모자라지 않는 것만으로도 우리는 충분했고 풍성하다고 생각했다.

이렇게 크고 작은 일들을 거치는 동안, 나는 최초로 라그랑지안 플로어 호몰로지 이론을 사교 위상수학의 문제에 적용해 뉴턴 연구소에서 열린 두 번의 세미나에서 발표했다. 지금 생각해도 어떻게 그런 아이디어를 그렇게 시기적절하게 완성할 수 있었던지 그저 놀라울 뿐이다. 이 결과의 진정한 가치가 수학계에 알려지기까지는 수년이 걸렸지만, 나 자신에게는 플로어 이론의 유용성에 대한 확고한 믿음을 주기에 충분했다. 그 후 지금까지 30여 년 동안 플로어 이론을 확장, 발전시키는 일에 더 매진할 수 있는 원동력이 됐다.

우연한 기회로 시작된 협업

그리고 영국에서 후카야 켄지를 만났다. 그는 당시 일본 도쿄대학교 교수였고, 2~3년 전에 게이지 이론에서 사교 기하학으로 연구 분야를 옮겨 라그랑지안 플로어 호몰로지의 고등대수 구조인 에이-인피니티 범주에 대해 연구하고 있었다. 후카야 교수는 후에 후카야 범주라고 불리는 이 개념을 기하 해석학적으로 발전시켜야 했는데, 난관에 부딪혀 있던 상태였다. 그런 그가 학회를 참석하기 위해 뉴턴 연구소에 한 달 동안 머물던 어느 날이었다. 지도교수님과 나를 포함한 젊은 사교 기하학자들이 담소를 나누고 있을 때, 후카야 교수가 다가와 자신을 소개했다. 그래서 다른 사람들도 돌아가며 자기소개를 했다. 내 차례가 되자, 후카야 교수는 반색하며 나에게 “당신 논문을 많이 읽었다. 얘기하고 싶었다”라고 말했다. 나는 무엇보다도 나와 같은 주제를 연구하고, 내 논문을 자세히 읽은 다른 수학자가 있다는 사실을 처음 알게 돼 기뻤다.

담소가 끝나고 후카야 교수는 “라그랑지안 플로어 호몰로지를 연구하는데, 해석학적인 문제에 봉착해 지난 일 년 동안 해결하지 못하고 있다. 당신은 혹시 이런 걸 생각해 봤느냐?”고 물어왔다. 전에 나도 생각해 봤던 문제여서, 어떻게 해야 할지 내 생각을 얘기했더니 함께 공동논문을 쓰자고 제안을 해왔다. 이를 계기로 협업이 시작됐다. 우리의 첫 공동논문은 서로가 처음 만났을 때 얘기한 문제를 푼 내용으로, 1997년 ‘아시아 수학 저널’ 창간호에 실렸다.

1996년에는 스위스의 도시 아스코나에서 열린 국제 사교 위상수학 학회를 기점으로 오타 히로시 일본 나고야대학교 교수와 오노 카오루 일본 교토대학교 교수가 합류했다, 우리 네 사람은 러시아 수학자 미하일 그로모프가 만든 유사정칙 곡선과 후카야 범주에 대해 이야기를 나눴고, 각각의 대학으로 흩어졌다. 일본에 있던 그들과 미국 한복판에 있던 내가 만나기가 쉽지 않았던 그 시절에, 뉴턴 연구소는 우리 연구의 인큐베이터가 되어준 셈이다. 이 협업은 25년을 거쳐 지금까지 온라인으로 계속되고 있으며, 우리는 3권의 공동 저서와 논문 15여 편을 출판했다.

플로어 교수가 하다가 멈춘 연구를 이어받거나 다른 수학자와 함께 연구해 나의 연구 여정을 채운 것처럼, 내가 풀다 만 문제를 또 다른 수학자가 이어받아 그의 연구 여정을 채워나가고 있다. 수학자가 하는 모든 연구가 바로 당사자의 손에 쥐어지는 결과물이 되는 것은 아니지만, 미완성의 연구나 가치 있는 생각의 조각들이 그냥 흔적 없이 사라지는 것은 아니다. 그것들은 나 자신의 다른 연구나 토론을 통해 다른 연구자의 밑거름으로 거듭나기도 하고, 서로 영감을 주고받으며 나의 지평이 아니라 우리 인식의 지평을 함께 열어가는 밑거름이 된다고 생각한다.