d라이브러리 2010년 12월 과학동아

네덜란드의 그래픽 아티스트 모리츠 에셔의 작품 동그라미 극한을 보면 유한한 원 속에 상반된 패턴이 무한히 반복된다. 그 황홀한 패턴은 많은 분야의 사람들에게 수많은 영감을 줬다. 에셔는 캐나다 수학자 도널드 콕시터와 쌍곡면기하학의 신비에 관해 대화하다 아이디어를 얻어 이 그림을 만들었다. 복잡한 수식을 강렬한 이미지로 바꿔 수많은 아이디어를 낳은 사람은 에셔만이 아니다. 프랙탈(fractal)이란 새로운 기하학을 탄생시키고 바로 얼마 전에 작고한 브누아 만델브로(Benoit Mandelbrot, 1924~2010)도 그런 사람이다. 프랙탈은 어느 한 부분을 확대하더라도 전체와 닮은 모습이 무한히 숨어 있는 모양을 의미한다. 눈꽃송이, 브로콜리, 고사리, 번개, 구름 등 자연 곳곳에 프랙탈의 형상이 숨어 있다. 자연 속에 이런 놀라운 패턴이 담겨 있고, 그것이 비교적 간단한 컴퓨터 프로그램으로 눈앞에 펼쳐진다는 사실은 수많은 사람들에게 벅찬 흥분을 안겨줬다.

재미있는 사실은 만델브로가 이런 업적을 남긴 과정에 프랙탈만큼이나 오밀 조밀한 이야기가 숨어 있다는 점이다. 우리는 흔히 놀라운 창조물을 보며 천재의 독특한 창의성을 찬미하지만, 사실 그 안에는 그를 둘러싼 환경의 영향이 응축돼 있다.

숨 가쁜 시대가 직관을 낳다

만델브로는 아슈케나지 유대인(중세 이후 독일 부근의 중유럽에 정착한 유대인 집단) 출신이었다. 그의 성(姓)인 ‘만델브로트(Mandelbrot)’부터가 아슈케나지 유대인들이 디저트로 즐겨 먹던 ‘아몬드빵’을 일컫는 말이다. 그의 집안은 거대한 유대인 공동체가 있던 리투아니아 지역에 뿌리를 두고 있었으며, 만델브로가 태어날 무렵인 1924년에는 폴란드 바르샤바에 살고 있었다.

히틀러가 정권을 잡고 노골적인 반유대주의를 드러내자 중·동유럽의 유대인들은 커다란 위협을 느꼈다. 결국 1936년 만델브로의 가족은 그의 삼촌 숄렘 만델브로가 자리를 잡은 프랑스 파리로 이주했다. 우리가 그를 ‘만델브로트’가 아닌 ‘만델브로’(프랑스어식 발음)로 기억하는 것도 이 때문이다.

파리도 나치의 위협에서 자유롭지 못했다. 1940년 독일이 프랑스를 침공했기 때문이다. 그의 가족은 독일 점령지구를 다시 벗어나 프랑스 남부 리무쟁 지방의 튈로 피난길에 나선다. 이곳은 다행히 독일의 손길이 덜 미친 비시 프랑스 (1940~44년에 존속한 친독일 프랑스 정부) 관할이었고, 독일 점령군에 저항한 레지스탕스 운동도 활발했다. 이곳에서 만델브로는 제대로 학교에 다닐 여유도 없이 견습공으로 일하며 근근이 살았다. 정규교육을 받을 수도 없어 독학하는 데 만족했다.

만델브로는 고등학교를 다닐 나이에 구구단도 제대로 몰랐다고 한다. 전쟁이 끝나고 다시 학교에 다니게 되자, 그는 엄밀한 수식 체계를 숙달하는 대신에 이를 형상화하고 직관적으로 이해하는 데 놀라운 능력을 보였다. 그래서 유럽에서 2차 세계대전이 끝난 이듬해인 1945년에 수재들만 모인다는 ‘파리고등사범학교’에 합격했다. 하지만 그는 수학적 전통을 중시하는 엄격한 학풍에 갑갑함을 느껴 프랑스 최고의 명문 공대였던 ‘에콜폴리테크니크’로 학교를 옮겼다.

만델브로는 수학에 놀라운 재능을 가졌지만 전통적인 학풍에 적응하기 힘들어 했다. 더군다나 프랑스 수학계는 20세기 초부터 직관보다 엄격한 논리체계와 형식미를 중시하는 ‘부르바키’ 그룹이 득세하고 있었다. 아이러니한 사실은 그에게 수학을 접하게 해준 삼촌 숄렘이 부르바키 그룹의 초기 멤버였다는 점이다. 만델브로는 1952년 파리대에서 박사 학위를 받고 프랑스, 미국, 스위스를 전전했으나 주류 학계와 좀체 가까워지지 못했다. 그는 만물박사란 소리를 들을 정도로 여러 학문에 걸쳐 관심을 가졌으나, 어느 곳이든 주류에게 환영받지 못했다. 학계의 변두리를 맴돌던 그는 결국 1958년에 아예 멀찍이 떨어진 곳에서 새로운 직장을 잡는다. 바로 IBM의 토마스 왓슨 연구소였다.

기업 연구소가 변경인의 안식처로

IBM은 지금도 매출 100조 원이 넘는 거대한 글로벌 기업이지만, 20세기 중반 산업계에서의 무게감은 지금보다 훨씬 컸다. 미국의 컴퓨터 시장을 장악한 대기업으로서 연구개발 활동에 적극적이던 IBM은 기초과학부터 응용공학에 이르기까지 연구진을 두루 확보하고 있었다. 연구개발 환경도 지금과 달리 매우 너그러워 기초과학에도 많은 투자를 했다. 만델브로는 큰 부담을 주지 않아 미래를 위한 연구에 매진할 수 있는 왓슨 구소에 매력을 느꼈다. 학문의 변두리에서 독특한 흥밋거리를 찾는 그의 태도는 당시의 기업 연구소가 아니면 받아들여지기 어려웠을 것이다.

IBM에서 만델브로는 크게 눈에 띄지 않았다. 대개 한두 명의 조수를 거느린 작은 연구팀을 운영했다. 하지만 그는 중요한 아이디어를 하나하나 발전시켰다. 그 무렵 그를 사로잡은 주제는 면화가격의 변동이었다. 그는 20세기 면화가격의 자료를 분석하면서 여기에 숨어있던 놀라운 질서를 발견했다. 연 단위의 가격변동 분포를 보나 주 단위의 가격변동 분포를 보나 모양이 똑같았던 것이다. 시간을 잘게 잘라서 볼 때와, 듬성듬성 크게 잘라서 볼 때가 비슷한 성질은 그에게 프랙탈의 핵심 개념인 자기유사성의 단초를 제공했다.

만델브로는 다른 분야에서도 비슷한 아이디어를 발견했다. 만델브로의 폭넓은 관심사는 여기서도 빛을 발했다. 프랙탈의 대표적인 예로 거론되는 “영국의 해안선 길이는 과연 얼마인가”라는 문제를 다룬 루이스 리처드슨의 연구는 그가 죽은 뒤 출판됐고 별다른 주목을 받지 못했다. 만델브로는 이를 1967년 ‘사이언스’에 소개하면서 재미있는 주제를 발굴하는 아웃사이더라는 존재감을 드러내기 시작했다.

기업 연구소의 독특한 특징이 프랙탈로 가는 길을 이끌기도 했다. 기업 연구소에서는 해당 기업의 요구에 따라 순수학문 연구자라도 종종 공학자와 현실 문제에 대해 공동연구를 해야 한다. 이 과정에서 자연스럽게 다양한 배경과 지식을 지닌 사람들과 교류하게 돼 학문간 융합에 유리한 환경이 만들어졌다. 만델브로 또한 프랙탈의 아이디어를 발전시키는 과정에서 IBM을 거쳐 간 여러 잡학 다식한 인재로부터 많은 도움을 얻었다.

대표적 사례가 노이즈의 발생패턴에서 보이는 미묘한 구조들에 대한 연구였다. 만델브로는 다른 공학자들과의 연구에서 전신선으로 신호를 전달할 때 발생하는 노이즈에 칸토어 집합과 유사한 구조가 있음을 알아냈다. 그는 나중에 리처드 보스와의 공동 작업에서 이를 더욱 발전시켰다. 리처드 보스는 버클리 캘리포니아대에서 물리학으로 학위를 받았고, 왓슨 연구소의 저온물리학 실험실에 근무하고 있었다. 보스는 ‘1/f 노이즈’에 관심을 가지고 있었다. 1/f 노이즈는 주파수가 높아질수록 이에 반비례해 노이즈가 줄어드는 현상이다. 1/f노이즈 현상은 자연은 물론, 인간이 만들어낸 음악에도 있으며, 전자기기 등의 다양한 회로에서도 볼 수 있다. 이 패턴은 자기유사성을 고스란히 갖고 있어 만델브로의 관심을 끌었다.

만델브로는 1975년 자기유사성 구조에 ‘프랙탈(fractal)’이라 이름 붙이고 첫 번째 저작인 프랑스어판 ‘프랙탈’을 발간했다. 프랙탈은 ‘깨진’이라는 뜻을 지닌 라틴어 ‘fractus’를 변형한 것이었다. 1977년에는 보스와 함께 도처에서 발견한 아이디어를 숙성시켜 영문판 ‘프랙탈’을 내놨다.

프랙탈의 히트 요소, 컴퓨터와 시각화

프랙탈은 사람들의 마음을 바로 사로잡지는 못했다. 학계의 반응은 여전히 싸늘했고, 일반인들의 흥미를 끌지도 못했다. 그런데 여기서 그가 IBM에 있던 사실이 또 한 번 빛을 발했다. IBM이 당대 최대의 컴퓨터 제조업체였으니만큼, 왓슨 연구소는 다른 세계 어느 기관보다 컴퓨터를 사용하기 좋은 환경이었다. 이미 프랙탈의 기초 연구를 할 당시부터 만델브로는 자료를 처리하고 분석할 때 컴퓨터를 유용하게 쓰고 있었다.

만델브로는 프랙탈의 아이디어를 발전시키며 점차 그의 스승 가스통 줄리아의 업적으로 회귀했다. 줄리아는 1940년대 에콜폴리테크니크에서 만델브로를 가르쳤다. 줄리아는 20세기 초 피에르 파투가 고안한 복소사상에 대한 연구를 발전시켜, 줄리아 집합을 정의했다.

그는 왓슨 연구소의 컴퓨터와 다른 연구자의 아이디어를 접목해서 마침내 신비로운 줄리아 집합의 모양을 컴퓨터로 시각화했다. 그 안에도 무한히 반복되는 구조 속에 자기유사성이 켜켜이 쌓여 있는 프랙탈이 숨어 있었다.

만델브로는 컴퓨터로 시각화한 신비한 프랙탈 이미지와, 그간 다양한 분야에서 찾아낸 프랙탈의 원리를 더해 1982년에 ‘자연의 프랙탈 기하학’을 출간했다. 아름다운 프랙탈의 이미지는 곧바로 많은 이들의 관심을 사로잡았다. 대형 컴퓨터의 시대에서 이제 막 개인용 컴퓨터 시장이 열리던 시점에, 수학과 컴퓨터가 만나 빚어낸 놀라운 형상은 커다란 반향을 불러 일으켰다. 이는 복잡한 수식을 풀어가며 종이 위에 하나하나 점을 찍어가며 연구하던 시대에서, 컴퓨터의 힘을 빌려 모니터에 시각화하고 이를 통해 통찰을

강화하는 새로운 시대로 넘어가고 있다는 중대한 이정표였다.

만델브로의 프랙탈은 수학이 아닌 다른 분야에서 크게 환영받았다. 공학자들은 프랙탈의 아이디어를 자신의 분야에 응용해보기 시작했다. 급기야 인기 SF 영화 스타트렉 II에서는 몽환적인 배경 이미지를 만드는데 프랙탈을 쓰면서 대중적으로도 큰 이목을 끌었다. 1987년에 뉴욕타임즈 기자였던 제임스 글릭이 만델브로를 비롯한 카오스 이론의 창시자들을 취재해 펴낸 ‘카오스: 새로운 과학 만들기’라는 책이 베스트셀러에 오르면서 그의 영광도 정점에 올랐다. 만델브로가 학문의 변두리를 떠돌면서 IBM에서 20년 넘게 숙성시킨 아이디어가 마침내 세상을 바꾸기 시작했다.

‘블랙스완’에 영감을 주다

만델브로가 프랙탈의 아버지로서 영광에 오르는 과정이 결코 아름답지만은 않았다. 변경인의 한이 맺혀서인지 그는 고집스럽게 자신의 업적을 부각시켰고, 참고문헌에는 이미 고인이 된 사람들의 저술만을 올리곤 했다. 주류 학계와 사이도 좋아지지 않았다. 그는 대신 수많은 신세대 과학기술자들에게 영감을 주며 하나의 뚜렷한 흐름을 만들어내는 길을 택했다.

자유로운 연구의 토대가 됐던 왓슨 연구소도 그를 영원히 담아둘 순 없었다. 미국 기업들이 경쟁에서 서서히 밀려나고 실적이 악화되면서 IBM은 왓슨 연구소에서 기초과학 연구 조직을 정리했다. 1987년, 만델브로는 30년 만에 IBM에서 나와 예일대 수학과로 자리를 옮겼다.

이곳에서 그는 애초에 그의 관심을 사로잡았던 가격변동 문제를 더욱 확장해 금융시장의 가격변동에 대한 연구에 집중했다. 주식시장의 복잡한 가격변동 패턴을 프랙탈의 원리로 설명하려는 그의 시도는 많은 경제학자들이 믿던 가정, 즉 가격변동이 정규분포를 따르는 무작위한 과정이라는 가정에 대한 도전이었다. 주류

경제학의 가정을 공격하며 독자적인 가격변동 이론을 만들려고 했던 말년의 노력에서, 우리는 그의 고집스러운 성격을 다시 맞닥뜨리게 된다.

그의 가격변동에 대한 프랙탈 이론은 많은 흥미로운 점을 담고 있으나 온전히 성공적이지는 않았다. 하지만 2008년 글로벌 금융위기를 예언한 ‘블랙 스완’이라는 책으로 주목 받은 경제학자 나심 탈렙이 밝혔듯이, 만델브로의 연구는 많은 이들에게 시대를 꿰뚫어 보는 통찰을 제공했다.

어느덧 우리는 학문의 융·복합을 통해 창조를 역설하는 시대에 살고 있다. 컴퓨터는 우리 생활과 연구 환경 구석구석으로 침투했고, 혼돈 이론에서 발전된 복잡성 과학은 우리 일상에 숨겨진 관계의 놀라움을 규명해내고 있다. 이러한 작업들의 가치가 주목을 받기까지는, 경계를 넘나들며 새로운 시대를 준비해온 사람들이 있었다. 그리고 격렬히 요동치던 역사와, 기술의 발전, 산업의 성쇠가 있었다. 우리는 바로 그러한 복합적인 변화의 맥락 속에서, 만델브로와 그가 남긴 아름다운 프랙탈을 기억해야 한다