질서와 혼돈 사이에 완벽한 평형이 이루어지는 영역에서 생명의 복잡성이 비롯된다. 혼돈의 가장자리는 복잡성의 과학을 상징하는 용어로 자리잡았다.
살아있는 세포, 사람의 뇌 그리고 증권거래소. 이들은 과학적 주제로서 공통점이 없는 듯하지만 복잡성 과학(science of complexity)의 이론가들은 적어도 두가지 특성을 공유하고 있는 것으로 보고 있다.
첫째, 이들은 단순한 구성요소가 수많은 방식으로 상호작용하고 있다는 의미에서 복잡계(complex system)라 할 수 있다. 세포는 단백질 핵산 등 수많은 분자로 구성되어 있다. 사람의 뇌는 수십억개의 신경세포가 거미줄처럼 연결되어 있다. 증권시장은 수많은 투자자들로 들끓고 있다.
질서와 혼돈의 사이
둘째, 이들은 환경의 변화에 수동적으로 반응하지 않고 구성요소를 재조직하면서 능동적으로 적응한다. 예컨대 사람의 뇌는 끊임없이 신경세포의 회로망을 재구성하면서 경험을 통해 학습하고 환경에 적응한다. 복잡성 과학에서는 눈송이나 전기회로처럼 단순히 복잡한 물체와 구별하기 위하여 이들을 통틀어 복잡적응계(complex adaptive system)라 일컫는다.
복잡적응계의 행동은 얼핏보아 무질서해 보인다. 왜냐하면 구성요소의 상호작용이 고도로 비선형적인 행동을 보여주기 때문이다. 비선형계에서는 초기조건에서 발생하는 작은 변화가 출력에서는 엄청나게 큰 변화를 야기시킨다. 그러한 현상의 하나가 혼돈이다. 혼돈은 바다의 난류 또는 주식가격의 난데없는 폭락처럼 불규칙적이며 예측하기 어렵다. 그러나 복잡적응계는 혼돈 대신에 질서를 형성해낸다. 혼돈과 질서의 균형을 잡는 능력을 갖고 있기 때문이다. 다시 말해서 복잡적응계의 구성요소는 혼돈과 질서가 균형을 이루는 경계면에서 결코 완전히 고정된 침체상태나 완전히 무질서한 혼돈상태에 빠지지 않고 끊임없이 환경에 적응하기 때문에 항상 새로운 질서를 형성하고 유지할 수 있다. 요컨대 단순한 질서와 완전한 혼돈 사이의 광대한 영역에 놓여 있는 거의 모든 자연세계와 사회현상을 복잡적응계로 간주할 수 있다.
복잡적응계의 자기조직화
복잡성 이론의 중심 아이디어는 복잡적응계가 자발적으로 질서를 형성하는 이른바 자기조직화(self organization) 능력을 갖고 있다는 것이다. 자기조직화의 가장 간단한 보기는 모래언덕이다. 모래를 한번에 한 개씩 떨어뜨려 언덕을 만든다면 경사가 가파라질수록 더욱 큰 사태가 일어나면서 많은 모래알이 아래로 흘러내릴 것이다. 위에서 떨어뜨리는 모래알과 아래로 흘러내리는 모래알이 평형을 이루는 임계상태가 되면 모래언덕은 더 이상 커지지 않는다. 임계상태에서는 단 한개의 모래알이 추가되더라도 사태가 일어나서 모래언덕 전체가 붕괴되고 만다. 임계상태에서 자기조직화 되었지만 불안정하기 때문이다. 모래언덕은 완전히 안정되지도 않고 완전히 무질서하지도 않은 상태에서 전체 모양을 유지하고 있다.
복잡적응계는 모래언덕처럼 자기조직화 능력을 갖고 있다. 단순한 구성요소가 상호간에 끊임없는 적응과 경쟁을 통하여 보다 높은 수준의 복잡한 구조를 형성할 수 있다.
단백질분자는 생체, 기업이나 소비자는 국가경제를 형성한다. 여기서 반드시 주목해야할 사항은 구성요소가 개별적으로 갖지 못한 특성이나 행동을 복잡적응계가 보여준다는 것이다. 예컨대 단백질분자는 살아있지 않지만 그들의 집합체인 생물은 살아 있다. 이와 같이 구성요소를 함께 모아놓은 전체 구조에서 솟아나는 새로운 특성이나 행동을 창발적(emergent) 특성 또는 행동이라 한다. 창발성은 복잡성 과학의 기본 주제이다.
자기조직화 이론은 하나의 연구소를 탄생시킬만큼 강렬하게 과학자들의 흥미를 돋우었다. 1984년 미국 뉴멕시코주의 산타페에 전문연구소가 설립되었다. 산타페 연구소(SFI)다. 설립될 당시에는 건물이나 자금이 없어서 전화번호와 사서함뿐인 연락처에 불과했으나 물리학 생물학 경제학 컴퓨터과학의 기라성같은 인물들이 SFI에 몰려들고 있다.
새로운 학문일수록 기성의 권위에 도전하는 젊은 학자들이 주축을 이루기 십상이지만 복잡성 과학의 경우 중심인물은 노벨상을 받은 학계의 원로들이다. 1969년 물리학상에 빛나는 머레이 겔만, 1972년 경제학상의 케네스 애로우, 그리고 1977년에 물리학상을 받은 필립 앤더슨이다. 그들은 자연과 인간을 똑같이 조명하는 복잡성 이론의 토대가 구축될 것으로 확신하고 있다. 한편 스츄어트 카우프만, 윌리엄 브라이언 아더, 크리스토퍼 랭톤 등의 소장학자들은 연구범위가 방대하고 학제간 연구가 불가피함에도 불구하고 괄목할 만한 성과를 내고 있다. 더욱이 1992년에는 미국의 과학저술가 미첼 월드롭과 로저 레윈이 '복잡성'이라는 같은 제목의 책을 잇따라 발간함에 따라 대중적 관심사가 되기에 이르렀다.
생물체의 부존질서
미국의 생물학자 카우프만은 개체발생에 각별한 관심을 가졌다. 하나의 수정란이 성체가 되기까지에는 세포분열 과정이 무수히 거듭된다. 초기에는 모든 세포가 동일하지만 분열이 진행됨에 따라 각 세포는 눈이나 간장 따위의 기관을 구성하는 세포로 분화된다. 다시 말해서 모든 세포는 거의 동일한 유전정보를 갖고 있음에도 불구하고 세포의 형태는 각양각색이다. 세포가 그 역할에 합당한 구조와 기능을 갖도록 변화해가는 세포분화는 발생생물학이 오랫동안 풀지 못한 수수께끼였다.
세포분화를 체계적으로 설명한 학자는 프랑스의 자크모노(1910-1976)이다. 세포의 형태가 서로 다르게 되는 까닭은 다른 유전자를 가졌기 때문이 아니라 유전자의 활동패턴이 서로 다르기 때문이라는 것이다. 모노에 따르면 유전자가 전기회로의 스위치처럼 다른 유전자의 활동을 조절하는 일종의 자동제어 메커니즘이 세포분화의 기초를 이루고 있다는 것이다. 모노는 이 공로로 1965년 노벨상을 받았다.
그러나 카우프만에게는 모노의 이론이 새로운 궁금증을 갖게 했다. 사람과 같은 고등동물의 게놈은 약 10만개 이상의 상이한 단백질을 합성하는 유전정보를 갖고 있다. 이처럼 복잡하고 거대한 게놈의 조절체계에서 유전자의 활동이 제어되는 과정에 대해 의문을 갖게 된 것이다. 이 의문을 풀기 위해서 카우프만은 게놈의 조절체계를 비선형계로 상정하고 반혼돈(antichaos)이라는 수학적 개념을 창안했다. 비선형계는 혼돈현상을 보여주기도 하지만 무질서에서 자발적으로 질서가 형성되는 반혼돈 특성을 갖고 있다는 아이디어이다. 카우프만은 이러한 질서가 유전자 때문이 아니라 게놈 조절체계의 구조때문에 자연발생적으로 게놈체계 내부에 존재하는 질서라는 의미에서 부존질서 (order for free)라고 명명했다. 부존질서는 자기조직화의 산물에 다름아니다.
다윈 이후 생물학자들은 생물체가 갖고 있는 질서는 오로지 자연도태의 결과라고 생각했다. 그러나 카우프만은 개체발생 메커니즘의 일관성이 자연도태에 의하여 진화된 결과는 아니라고 주장했다. 바꾸어 말해서 다윈은 생물체의 생성에 적용되는 자기조직화 능력과 부존질서를 알지 못했다는 것이다. 생물체의 진화는 자연도태와 자기조직화의 결합으로 이해되어야 한다는 독특한 이론이다. 그러니까 카우프만은 생명체가 우연의 산물이지만 동시에 질서의 산물이라는 주장을 한 셈이다.
수익체증의 경제학
미국 스탠퍼드 대학의 브라이언 아더교수는 경제를 복잡적응계로 간주하였다. 경제를 자기조직하는 계로 규정한 일리아 프리고진(1917- )의 글을 읽은 것이 계기가 되어 독창적인 경제이론을 개발했다. 벨기에의 화학자인 프리고진은 열역학적으로 평형에서 먼 상태에 있는 계에서 질서가 갑자기 자연발생적으로 나타나는 현상의 기초가 되는 것은 비선형성이라는 결론을 얻고, 1967년 요동을 통한 질서(order through fluctuation)라고 명명된 이론을 발표했다. 비평형 상태에 없는 계들은 불안정하므로 끊임없이 요동한다. 작은 요동은 비선형 과정에 의하여 거대한 요동으로 증폭된다. 바로되먹임(positive feedback)의 결과이다. 마이크를 확성기에 가깝게 두면 확성기 소리가 마이크를 통해 되먹임되어서 소음이 커지는 것처럼 바로되먹임은 증폭기능을 갖고 있다. 증폭된 요동이 격심해지면 종래의 구조는 파괴되지만 자기조직화 과정을 통하여 혼돈으로부터 새로운 질서가 출현한다. 프리고진은 이와 같이 미시적 요동으로부터 거시적 질서가 나타나는 이론을 창안한 공로로 1977년 노벨상을 받았다.
브라이언 아더는 바로되먹임 , 경제학 용어로는 수익체증(increasing return)이 새로운 경제학의 기초가 될 수 있다고 확신했다. 신고전파 경제학의 효용체감(diminishing return)과 맞서는 개념이다.
효용(수확)체감은 두번째 과자가 첫번째만큼 맛이 없거나, 비료를 두배 사용한다고 해서 수확이 두배가 되는 것은 아니라는 뜻이다. 즉 일정기간에 소비되는 재화의 수량이 증가함에 따라 그 추가분에서 얻을 수 있는 효용은 점차 감소된다는 것이다. 따라서 과자 대신 빵을 사먹거나 비료를 그만 쓰기 때문에 어떤 한 회사 또는 제품이 시장을 지배할 만큼 커질 수 없다. 효용체감은 작은 효과가 사라지기 쉽다는 뜻이 되므로 작은 요동이 증폭되지 못하게 하는 거꾸로되먹임(negative feedback)에 비유될 수 있다. 말하자면 거꾸로되먹임의 조절기능에 의하여 수요와 공급의 균형이 유지되고 경제의 안정성이 유지되는 것이다. 그러나 브라이언 아더는 경제를 불안정하며 활기차고 항상 변화하는 복잡적응계로 보아야 한다고 주장했다. 바로되먹임의 메커니즘이 경제를 지배한다는 것이다.
신고전파의 이론에 따르면 가장 좋고 효율적인 기술이 자유시장에서 항상 선택된다. 그러나 70년대의 비디오테이프 방식 싸움은 반드시 그렇지 않음을 보여주었다. 베타방식보다 기술이 약간 모자란 VHS방식이 승리했기 때문이다. 기술적 열세에도 불구하고 초기에 시장점유율이 약간 앞선 덕분에 VHS가 시장을 석권할 수 있었다는 것이다. 브라이언 아더는 바로되먹임의 증폭효과가 나타난 것으로 풀이하고 있다. 이런 맥락에서 일본이 첨단제품 시장에서 미국을 압도하는 이유가 설명된다. 일본의 제품이 특별히 우수해서가 아니라 항상 불안정한 시장의 속성을 어느 나라보다 잘 이해하고 거기에 맞는 전략을 실행하기 때문에 성공을 보장받고 있다는 것이다. 그러나 미국은 승자가 모든 것을 거머쥐는 첨단기술시장의 속성을 인식하지 못한 채 대량소비재처럼 취급하기 때문에 항상 일본에게 밀린다는 것이다. 브라이언 아더는 미국상품이 경쟁력을 가지려면 경쟁자가 시장에 뿌리를 내리기 전에 초기에 잡은 우세를 신속히 키워나가는 전략, 즉 바로되먹임에 입각한 정책을 수립해야 한다고 역설하고 있다.
증식기능 갖는 인공생명
랭톤은 80년대 중반까지 미국과학기술계에 전혀 알려지지 않은 무명인사였다. 그러나 생물과 무생물을 구별짓는 중요한 특성인 증식기능을 컴퓨터 안에서 처음으로 합성해냄으로써 인공생명(artificial life) 분야의 핵심인물로 부상했다. 랭톤이 만들어낸 용어인 인공은 살아있는 것 같은 행동을 보여 줄 수 있는 인공물의 개발을 시도하는 학문으로 정의된다.
인공생명은 1951년 미국의 컴퓨터 과학자인 존 폰 노이만(1903-1957)이 발표한 세포자동자(cellular automaton)이론에 뿌리를 두고 있다. 생물처럼 자식을 낳는 능력을 갖춘 이른바 자기증식 기계에 관한 이론이다. 바둑판 모양의 평면을 사용하는 세포자동자 이론에서 기본단위는 네모난 칸이며 유기체는 네모난 칸의 집단으로 표현된다. 네모난 작은 세포처럼 분할될 수 없고 증식을 하므로 세포자동자라 명명되었다. 세포자동자는 어린 아이들도 이해할 수 있는 간단한 규칙으로 네모난 칸의 상태를 바꾸어가면서 칸의 집단적인 활동으로부터 살아있는 듯한 복잡한 패턴을 얼마든지 만들어낼 수 있다. 폰 노이만을 인공생명의 아버지에 비유하는 이유이다.
인공생명에서는 생명을 구성물질 자체의 특성으로 보지 않고, 그 물질을 적절한 방식으로 조직했을 때 구성요소의 상호작용으로부터 출현하는 창발적 행동으로 간주한다. 랭톤은 구성요소가 완전히 고정되거나 완전히 무질서한 행동을 할 경우에는 무생물의 집단에서 생명이 솟아날 수 없다고 생각했다. 질서와 혼돈 사이에 완벽한 평형이 이루어지는 영역에서 생명의 복잡성이 비롯된다는 것이다. 이와 같이 혼돈과 질서를 분리시키는 극도로 얇은 경계선을 혼돈의 가장자리(edge of chaos)라고 한다. 요컨대 생명은 혼돈의 가장자리에서 출현하는 것이다. 생명은 혼돈의 가장자리에서 한쪽으로는 너무 많은 질서, 다른 한쪽으로는 너무 많은 혼돈속으로 언제든지 빠져들 위험을 간직한 채 평형을 지키려는 유기체의 특성이라 할 수 있다. 혼돈의 가장자리는 복잡성 과학을 상징하는 용어로 자리를 잡아가고 있다. 복잡적응계는 혼돈의 가장자리에서 가장 복잡한 행동을 수행함과 동시에 환경에 가장 잘 적응할 수 있기 때문이다.
21세기의 과학
복잡성 과학이 어느 방향으로 나아갈지를 아직은 아무도 확언할 수 없다. 그러나 한가지 분명한 사실은 학문적 방법의 일대전환이 요구된다는 것이다. 현대과학이 태동한 이래로 주된 연구수단은 망원경과 현미경이었다. 따라서 과학자들은 문제를 끝까지 쪼개는 분석적 방법에 의존했다. 사물을 간단한 구성요소로 나누어 이해하면, 그것들을 종합하여 전체를 이해할 수 있다는 환원주의가 지난 3세기 동안 서양과학의 사고를 지배하게된 연유이다.
그러나 복잡적응계의 연구는 전적으로 컴퓨터에 의존하고 있다. 그들의 행동을 기술하려면 질적으로 다른 변수가 무수히 필요하고 인간의 능력으로는 변수가 수백개에 불과할지라도 그 계의 행동을 파악할 수 없기 때문에 컴퓨터는 복잡성 과학의 필수불가결한 도구가 되고 있다. 또한 복잡적응계는 전체가 그 부분들을 합쳐놓은 것보다 항상 크기 때문에 분석적 방법으로는 이해가 불가능하다. 사실상 대부분의 자연 및 사회현상은 종합적이고 전일적이다. 따라서 복잡성 과학의 태동으로 사물을 구성요소의 합계가 아니라 하나의 통합된 전체로 이해해야 된다는 전일주의가 부상하게 되었다.
복잡성 과학을 모든 과학자가 인정하는 것은 아니다. 일부에서는 복잡성이라는 말 자체를 부정하면서 연구자금을 끌어들이기 위해 사용되는 유행어라고 격하시키고 있다. 어쨌든 미국의 물리학자인 하인즈 페이겔스가 사고사 직전에 펴낸 저서 '이성의 꿈'(The Dreams of Reason 1988년)에서 복잡성 과학의 중요성을 역설한 다음 대목을 음미해 볼 필요가 있는 것 같다.
"나는 복잡성 과학을 정복하여 그 지식으로 새 제품을 개발하고, 사회조직의 모양을 바꾸어 나갈 수 있는 국가와 사람들이 21세기에 정치 경제 문화 군사적 측면에서 초강대국이 될 것임을 의심치 않습니다.