d라이브러리

지난 화에서 윌리엄 해밀턴이 게임 이론을 도입해 성비의 진화 문제를 해결한 과정을 살펴봤다. 이를 길잡이로 삼아 조지 프라이스는 사슴뿔의 진화를 설명해 냈고, 이후 존 메이나드 스미스와 프라이스는 진화 게임 이론의 시대를 연 기념비적 논문인 ‘동물 갈등의 논리’를 발표했다.

리처드 도킨스가 “다윈 이후 진화 이론에서 나온 가장 중요한 진전”이라고 칭찬했던 ‘진화적으로
안정된 전략(ESS)’이 탄생한 순간이었다.

아라비아오릭스(Oryx leucoryx)는 망아지 정도 크기의 작은 영양이다. 길고 곧은 두 뿔이 회초리처럼 뒤를 향해 솟아 있다. 멋진 뿔 덕분에 카타르 항공의 심벌마크로도 등장한다. 그런데 이 뿔이 정작 수컷들끼리 싸울 때는 최악의 무기가 된다. 뿔이 뒤로 나 있는 바람에, 수컷은 무릎을 꿇고 앞다리 사이로 고개를 푹 집어넣어야 간신히 뿔로 상대방을 위협할 수 있다(얼마나 목이 아플까!).

왜 자연선택은 오릭스의 뿔이 정면을 향하게끔 설계하지 않았을까. 왜 비효율적인 무기로 의례적인 공격 행동만 일삼는 비둘기파 전략이 자연계에서 매파 전략보다 더 흔할까. 이 문제를 푸는 와중에 어떻게 진화 게임 이론이 태동했는지 계속 살펴보자.

화려하지만 실속 없는 사슴뿔의 진화 이유

프라이스는 왜 항상 ‘돌격 앞으로’를 외치는 매파 전략보다 요란하게 폼만 잡다 물러서는 비둘기파 전략이 더 흔한가를 개체 선택론으로 설명하고 싶었다. 두 개체가 귀중한 자원을 놓고 맞붙는다고 하자. 승자가 모든 과실을 독차지한다. 그렇다면, 언제나 사생결단으로 전면전에 뛰어드는 매파 전략이 유일한 해법이 아닐까? 매파를 만나면 뺑소니 치기에 급급한 비둘기파는 자연선택에 의해 제거되지 않을까?

꼭 그렇지는 않다. 체면이 좀 안 서서 그렇지 비둘기파 전략도 나름 이득이 있다. 매파와 맞붙으면 비둘기파가 항상 꼬리를 내린다는 단점은, 매파끼리 만나면 어느 한 쪽은 심각한 피해를 입는다는 사실로 상당부분 상쇄된다(종합격투기대회인 UFC 선수들이 모두 끔찍한 부상의 위협에 시달림을 생각해 보라).

즉, 비둘기파가 상대방과 혈투를 펼치는 법이 없는 까닭은 종 전체의 화합을 위해서가 아니라 어떤 상황에서는 그런 소심한 행동이 개체에게 이롭기 때문인 것이다. 하지만, 그래서 매파가 이길지 비둘기파가 이길지 어떻게 안단 말인가?

게임 이론을 도입해 성비를 연구한 해밀턴의 1967년 논문 ‘특이한 성비’는 이 대목에서 프라이스에게 훌륭한 길잡이가 됐다. 성비 게임에서 어떤 성비가 최종적으로 진화할지 알려면, 어떤 성비가 다른 성비들보다 더 높은 적합도를 제공하는 ‘무적의(unbeatable)’ 성비인지 분석하면 됐다. 프라이스는 진화 게임에서 최선의 전략을 찾는 요령을 더 정교하게 발전시켰다. 화려하지만 실속 없는 사슴뿔 같은 의례적인 공격 행동이 왜 진화했는가를 다룬 프라이스의 논문 초고에서 ‘진화적으로 안정된 전략(ESS·Evolutionarily Stable Strategy)’의 시초가 어렴풋이 모습을 드러낸다.

초고에서 프라이스는 “작은 진화적 교란이 있어도 어떤 유전 전략이 안정적으로 유지되기 위한 충분조건은 그 종에게 가능한 전략들 가운데 어떤 것도 이를 능가해서는 안 된다는 것”이라고 주장했다. 쉽게 말해서 어떤 전략이 안정적인지 검증하려면, 그 전략과 아주 약간 다른 전략을 구사하는 돌연변이 전략이 개체군에 출현했을 때 자연 선택에 의해 제거될지 확인하면 된다는 것이다.

프라이스는 매파 혹은 비둘기파가 반복적으로 만날 때 어떤 전략이 결국 승리할지 컴퓨터로 모의실험했다. 최종 승자는 매파도 비둘기파도 아니었다. 둘을 적당히 섞은 혼합 전략인 ‘보복자’가 우승을 차지했다. 온화한 비둘기파를 만나면 자신도 비둘기처럼 순하게 대하지만, 성마른 매파를 만나면 자신도 매처럼 단호히 맞받아치는 혼합 전략이 가장 유리함을 입증한 것이다. 프라이스는 자신의 분석이 자연계에서 동물들이 피비린내 나는 혈투를 벌이는 경우도 많지만 의례적인 공격 행동으로 서로 변죽만 울려대는 경우가 좀 더 많다는 사실을 잘 설명해준다고 주장했다.

1968년 8월 프라이스는 ‘사슴뿔, 종내 싸움, 그리고 이타성’이라는 논문을 과학학술지 ‘네이처’에 투고했다. 모든 종류의 선택을 설명하는 수식인 ‘프라이스 방정식’을 발견하기 바로 직전에 행한 일이었다.

진화의 종착역, ESS

프라이스의 원고를 심사한 사람은 저명한 이론생물학자인 존 메이나드 스미스였다. 그는 동물들의 의례적인 공격 행동은 종의 이득을 위해서가 아니라 순전히 개체의 이득을 위해서라는 결론에 홀딱 반했다. 유일한 아쉬움은 원고가 너무 길다는 점이었다. 저자가 분량을 크게 축약한 수정본을 다시 보내기만 한다면 그대로 저널에 실어도 되겠다고 ‘네이처’ 편집장에게 심사의견서를 보냈다. 1969년 2월 ‘네이처’가 분량을 줄이는 조건으로 게재를 승인했다는 희소식이 프라이스에게 전해졌다.

그 후 메이나드 스미스는 시카고대 이론생물학과에 석 달 동안 방문하게 됐다. 이 참에 경제학의 게임 이론을 진화생물학에 본격적으로 접목시키기로 결심했다. 그는 ESS라는 용어를 최초로 제안하고 엄밀하게 정의했다. ‘매파-비둘기파-보복자’ 게임의 기틀을 마련하는 한편, 두 비둘기파가 한없이 대치하는 소모전 게임도 새로 분석했다. 해밀턴과 프라이스가 닦은 토대 위에 메이나드 스미스는 진화 게임 이론이라는 거대한 성을 쌓았다.

이제 ESS를 만나보자. 경제학에서 확립된 고전적 게임 이론은 각 경기자들이 ‘합리적으로’ 생각한다고 가정한다. 각자 자신의 이득을 최대화하려 애쓴다고 가정한다는 말이다. 이런 가정 위에서 경제학자들은 ‘내쉬 균형’ 즉, 각 경기자의 전략이 상대방의 전략에 대항해서 가장 높은 보수를 얻게 하는 전략들의 조합을 찾고자 한다. 왜 내쉬 균형이 중요할까. 일단 내쉬 균형에 어떻게든 도달하고 나면, 각 경기자는 혼자서 일탈을 시도해봤자 자기만 손해다. 결국 모두 자기 전략을 고수하므로 내쉬 균형이 계속 유지된다.

예를 들어, 대학생 철이와 준이가 이번 주말에 홍대에서 만날지 강남역에서 만날지 실랑이한다고 하자. 만약 둘 다 홍대를 택했다면, 이 조합은 내쉬 균형이 된다. 상대방은 홍대에서 기다리는데 나 혼자 강남역으로 나간다면 내가 얻는 보수가 낮아지기 때문이다. 마찬가지로, 둘 다 강남역을 택했어도 이 조합은 내쉬 균형이다. 즉, 약속 장소 게임에서 (홍대, 홍대)와 (강남역, 강남역)은 내쉬 균형이다. (홍대, 강남역)과 (강남역, 홍대)는 내쉬 균형이 아니다. 우리는 합리적으로 생각하는 두 경기자들이 홍대든 강남역이든 같은 장소에서 만나리라고 기대할 수 있다.

물론, 인간이 아닌 동물이 자기 이득을 높이려 의식적으로 행동하리라고 가정하긴 어렵다. 진화 게임 이론은 경기자보다 전략에 초점을 맞춘다. 전략들 가운데 가장 높은 보수(적합도)를 제공하는 전략이 자연 선택된다고 가정한다.

달리 말하면, 동물 경기자들에게 합리적인 사고 능력을 굳이 요구할 까닭은 전혀 없다. 이런 가정 위에서 진화생물학자들은 진화적으로 안정된 전략(ESS)을 찾고자 한다. 드디어 ESS의 정의가 나온다. 어떤 전략이 한 개체군을 다 점유하고 있을 때, ‘최초의 빈도가 충분히 낮은’ 다른 어떤 돌연변이 전략도 이 개체군에 침입할 수 없다면 그 전략은 진화적으로 안정하다고 정의된다. 최초 빈도가 충분히 낮아야 한다는 제한 조건에 유의하길 바란다. 만약 어떤 돌연변이 전략이 처음부터 높은 빈도로 출현했다면, 그 돌연변이 전략은 ESS를 몰아내고 널리 퍼질 수도 있다.

참고로 ESS는 해밀턴이 주장한 ‘무적의 전략’보다 더 넓은 개념이다. 무적의 전략이 이미 개체군을 장악하고 있다면, 그 어떤 돌연변이 전략도 ‘최초의 빈도가 무엇이건 간에’ 그 개체군을 침입할 수 없다. 즉, 무적의 전략은 다른 어떤 돌연변이 전략보다 높은 적합도를 항상 보증한다. ESS는 그런 보증을 서지 않는다. 어쨌거나, ESS가 개체군을 장악한 상태에서 돌연변이 전략은 극히 낮은 빈도로 출현할 터이므로, ESS가 희귀한 돌연변이 전략들을 물리치고 진화적으로 안정하리라는 사실은 흔들리지 않는다. 요컨대, ESS는 진화의 종착역이다. 자연계에서 동물의 행동을 조사하면 그들이 ESS를 구사하리라 미리 예측할 수 있게 된 것이다.

메이나드 스미스와 프라이스의 공동 연구

1971년 메이나드 스미스는 그동안 수행해온 진화 게임 연구들을 정리해서 저널에 낼 준비를 서둘렀다. 그러자면 물론 프라이스의 논문을 인용해야 했다. 놀랍게도, 프라이스는 논문의 수정본을 네이처에 내지 않았다. 그 어느 저널에서도 사슴뿔 논문을 찾을 수 없었다. 메이나드 스미스는 프라이스가 살던 아파트로 직접 찾아가서 문을 두드렸다. 프라이스는 다른 일들이 너무 바빠서 사슴뿔 논문에 손을 대지 못했다고 말했다(아무리 그래도 ‘네이처’에 논문을 낼 기회를 걷어 차다니!).

메이나드 스미스는 자신의 연구 성과를 설명하며 공동 연구를 제안했다. 프라이스는 기뻐했지만, 메이나드 스미스가 마땅히 제 1저자를 차지해야 한다고 고집을 부렸다. 1973년 메이나드 스미스와 프라이스의 공동 논문인 ‘동물 갈등의 논리’가 ‘네이처’에 게재됐다. 진화 게임 이론의 시대를 연 기념비적인 논문이었다.

전중환_evopsy@gmail.com
서울대 생물학과에서 학사와 석사를 마치고 미국 텍사스대 심리학과에서 박사학위를 받았다. 진화심리학 전문가이며 현재 경희대 후마니타스칼리지 교수로 재직 중이다.