“고전미술과 수학의 관계는 충분히 이해합니다만, 17세기 바로크시대로 들어서면 그런 고전 규범들이 모두 붕괴되는데 그래도 수학은 미술의 아름다움을 증명할 수 있습니까?”
지난해 초 미술사학자 한 분이 내게 이렇게 물었다. 그가 말한 고전미술과 수학의 관계란 황금분할이나 황금분할을 인체에 적용한 이상적인 인체 비례(캐논)를 일컫는 것일 터였다.
나는 “그렇다”고 대답했다. 데카르트의 해석기하학, 뉴턴과 라이프니츠의 미적분학 등이 출현한 17세기 과학혁명의 시대에 미술에서도 새로운 화풍이 일어났다. 미분에서 운동하는 물체의 순간 위치를 나타내는 변수와 변화율이라는 새로운 개념이 등장했다면 미술에서는 네덜란드 화가 렘브란트가 순간순간 변하는 빛의 양을 조절해 절묘한 명암비로 풍부한 색채를 구사하는 기법을 선보였다. 순간에 대한 관심은 네덜란드 화가 할스(Frans Hals)를 ‘순간의 화가’로 부를 정도로 당시 주된 주제였다.
집합론과 통하는 점묘파 화가
수학과 미술의 이런 관계는 19세기에도 이어졌다. 여기에는 자율성이라는 개념이 큰 역할을 했다.
러시아 출신의 독일 수학자 칸토어(George Cantor)는 두려움의 대상이었기에 터부시했던 ‘무한’(infinite)이라는 개념을 넘나들면서 ‘셀 수 있는 무한’(countable infinite)과 ‘셀 수 없는 무한’(uncountable infinite)을 연구했다. 그의 스승인 크로네커조차 ‘신은 정수만을 만들었다’고 주장하던 시대였다.
칸토어는 ‘수학의 본질은 자유’라는 신념과 철학을 토대로 1883년 집합론을 발표했다. 이는 수학의 추상화를 알리는 서곡이었다.
미술에서는 자율성을 추구하는 경향이 생기면서 오랫동안 화가들에게 각인됐던 설화적인 요소와 기독교적인 내용이 사라지고 화가의 주관을 표현하는 인상주의(impressionism)가 출현했다. 정확한 형태와 세밀한 부분을 묘사하는 화풍이 사라지고 찰나의 인상과 순간적인 움직임이 표현되기 시작했다.
특히 광학 기술이 발전하면서 사실적이고 구체적인 묘사를 사진이 떠맡게 되자 새로운 영역을 탐색하던 화가들의 눈에 띈 것이 추상의 세계였다.
사실 1883년은 참으로 묘한 해였다. 칸토어가 수학의 대상을 모두 원소로 쪼갠 뒤에 집합이라는 개념을 만들어나간 해라면, 미술에서는 그림의 대상을 모두 점으로 쪼개 새로운 화풍을 일으킨 점묘파 화가 쇠라(Georges Pierre Seurat)가 등장한 해였다.
쇠라가 캔버스에 선을 긋지 않고 점을 찍어서 그림을 그리기 시작한 이유는 더 순수한 색을 얻기 위해서였다. 캔버스에 원색으로 점을 찍으면 이 점들이 우리 눈의 망막에서 합쳐지면서 더 순수한 색을 얻을 수 있다고 생각한 것이다. 프랑스의 모네(Claude Monet)가 빛을 파동으로 봤다면 쇠라는 빛을 연속적으로 방사되는 입자로 본 것이다. 당시 물리학자들이 갑론을박하던 빛의 파동설과 입자설이 미술에서는 모네와 쇠라에게서 구체적으로 표현된 셈이다.
결국 수학자와 미술가가 대상을 점으로 쪼개는 사고방식은 그 당시의 시대정신이라고 할 만하다. 쇠라는 1883년부터 2년에 걸쳐 ‘아니에르에서의 물놀이’(Une Baignade, Asnieres)를 제작했다고 한다. 다른 화가들에 비해 엄청난 시간과 공을 들인 것이다.
반듯한 곡선
수학과 미술이 추상화되면서 수학에서는 위상수학(topology)이라는 분야가 새롭게 등장했다. 위상(位相)이란 기존의 기하학적인 변환을 거부하고 오직 점이 점으로 옮겨지는 연속함수의 성질만을 추구하기 때문에 위상수학은 도형에서 면적이나 크기, 길이 등의 고정관념을 무시하는 새로운 기하학이다.
미술에서는 어떤 화풍이 등장했을까. 프랑스의 화가 세잔(Paul Cezanne)의 그림을 보면 화가의 시점이 르네상스나 근대처럼 한 점이 아니라 여러 점으로 변한다. 그의 ‘사과와 오렌지’(Pommes et Oranges, 1900)에서는 사과가 놓인 탁자가 적어도 세 방향에서 관찰됐다. 정면과 왼쪽 위, 오른쪽 위에서 각각 바라본 모습을 단일한 공간 안에 퍼즐처럼 조합한 것이다.
입체파 화가인 프랑스의 피카소(Picasso)는 ‘거울 앞의 잠자는 여인’(La Dormeuse au miroir, 1932)에서 원근법을 완전히 파괴했다. 여인을 바라보는 피카소의 시점이 세잔보다 더욱 많아졌는데, 결국 피카소의 생각이 시점이 된 결과다.
20세기 피카소와 쌍벽을 이루는 프랑스의 거장 마티스(Henri Matisse)의 ‘나부’(Nu au Bracelet, 1940)는 연필을 불과 10여 차례만 움직여 관능적인 여인을 표현했다.
불필요한 요소를 제거하고 대상에서 가장 기본적인 요소만 남겨놓은 기법은 위상수학에서 위상변환과 같은 개념이다. 피카소와 마티스의 그림에서는 더 이상 길이와 크기, 면적은 의미 없는 요소가 돼버렸다. 즉 위상변환이 미술에서 일어난 것이다.
위상수학의 세계에서는 희한한 일이 벌어지고 만다. 우리가 알고 있는 도형의 세계와는 전혀 다른 세상이 펼쳐진다. 유클리드 기하학에서는 직선과 곡선은 엄연히 다른 것이지만 위상수학에서는 직선이 곡선이고, 또 곡선이 직선이다.
미술에서는 이런 생각을 반영하듯 미국의 브리짓 릴리(Bridget Riley)가 ‘반듯한 곡선’(Straight Curve, 1963)이란 작품을 내놓았다. 제목부터가 이율배반적이다. 종래의 생각으로는 반듯한 것은 직선이지 곡선이 아니었기 때문이다. 헝가리 출신인 빅토르 바사렐리(Victor Vasarely)의 ‘Hexa-Tri-C’(1983)는 직선으로 그리던 정육면체를 원을 이용해 그렸으며 정육면체의 면마다 돌출한 반구 또한 기존 상식을 무너뜨리는 작품이다.
이 그림은 파이프가 아니다?
칸토어 이후 독일의 수학자 힐베르트(David Hilbert)는 1906년 n차원 공간(${R}^{n}$)을 확장해 무한차원 공간(${R}^{∞}$)을 정의한 뒤 거리함수(metric function, ℓ₂)를 만들었다. 이로써 3차원의 실제 세계가 아닌 ‘힐베르트 공간’이 만들어졌다. 힐베르트 공간은 순전히 사유의 세계에서 인위적으로 수학을 구성한 것이니 초현실의 세계라고 할 수 있다.
비슷한 시기에 미술에서도 초현실주의가 나온다. 유클리드는 공리를 절대 진리로 여겼으나 힐베르트는 공리를 게임의 규칙과 같이 여기면서 단지 가설로 간주하고 수학을 전개했다. 힐베르트는 ‘어떤 명제라도 그것이 성립하는가를 판정할 수 있는 공리 이론이 있다’고 확신하고 있었던 것이다. 하지만 미국의 괴델은 힐베르트의 학설에서 오류를 지적했다. 또 ‘러셀의 패러독스(Russell’s Paradox)가 등장하면서 점차 수학의 모순이 밝혀지자 인간 지성의 한계에 도달하게 됐다.
미술에서도 벨기에의 초현실주의 화가 마그리트(Rene Magritte)가 등장하면서 패러독스에 바탕을 둔 작품들이 발표됐다. 마그리트는 파이프를 그려 놓고는 “이것은 파이프가 아닙니다” 라고 써놓았다(The Treachery Of Images, 1929). 이 글을 참이라고 생각하면 그림이 거짓이 되고, 글을 거짓이라고 여기면 그림이 참이 되는 순환 논리가 되고 만다. 러셀의 패러독스처럼 참이라고 생각하면 거짓이 되고, 거짓이라고 생각하면 참이 되는 순환논리를 멋지게 표현한 작품이다.
네덜란드의 판화가 에셔(Maurits Cornelis Escher) 역시 매우 수학적인 작품을 발표했다. 그는 특히 수학의 프랙탈 이론과 테설레이션(tessellation, 욕실의 타일처럼 똑같은 도형으로 평면을 채우는 것)을 동시에 드러냈다.
‘생명의 경로’(Path of Life I, 1958)에서는 정사각형 두개 중 하나를 45° 회전시킨 뒤 겹쳐진 도형을 기본으로, 물고기가 중심을 향해 한없이 수렴하고 있으며 진한 부분과 연한 부분이 서로 보완하며 아름다운 형상을 나타낸다. 재생과 반복에서 특별히 아름다움을 느낀 에셔의 독창적인 작품 세계다. 같은 도형이지만 재생과 반복을 통해 자기닮음(self-similarity)을 가진 물고기들이 한없이 작아져 점으로 수렴하기도 하고, 또 한편으로는 생명이 있는 한개의 알갱이가 커다란 물고기로 성장하기도 한다.
러셀의 패러독스 : 집합 S={x : x∉x}를 생각하자. 만일 S∉S라고 가정하면 주어진 집합 S의 조건을 만족하기 때문에 S∈S가 되고, 만일 S∈S라고 가정하면 주어진 집합의 조건을 만족해야 하므로 S∉S가 되므로 모순이 생긴다.