현대 진화 이론에서 또 하나의 중요한 개념은 게임 이론이다. ‘진화 게임 이론’이라고 불리는 이 이론은 엉킨 타래 같은 진화의 까다로운 개념들을 시원하게 풀 잠재력을 갖고 있었다.

“ESS 개념의 등장은 다윈 이후 진화 이론에서 나온 가장 중요한 진전 가운데 하나로 받아들여지리라고 믿는다.” 리처드 도킨스는 1976년에 쓴 ‘이기적 유전자’에서 이렇게 말했다. ESS는 ‘진화적으로 안정된 전략(Evolutionarily Stable Strategy)’을 뜻한다. 도대체 ESS가 뭐길래 도킨스가 이토록 입에 침이 마르게 칭찬했는지 사뭇 궁금하다. ‘전략’이라는 단어에서 짐작할 수 있듯이, ESS는 경제학의 게임 이론을 동물 행동 연구에 도입해 만들어진 진화 게임 이론에서 주춧돌을 이루는 개념이다.

진화 게임 이론이란 무엇일까. 어떻게 게임 이론이 난데 없이 진화생물학과 결혼하게 됐을까. 두 분야
사이에 중매를 선 장본인은 존 메이나드 스미스다. 하지만 그 이전에 윌리엄 해밀턴과 조지 프라이스도 단단히 한 몫을 했다. 진화 게임 이론이 탄생하게 된 과정을 따라가 보자.

해밀턴, 게임 이론을 만나다

1950년대 후반, 해밀턴이 케임브리지대 학부생이던 시절이었다. 도서관에서 진화학 서적들을 홀로 탐독하던 어느 날, 야릇한 제목을 단 책이 해밀턴의 눈에 밟혔다. 천재수학자 존 폰 노이만과 경제학자 오스카 모르겐슈테른이 1941년에 공저한 ‘게임 이론과 경제행동’이었다.

나와 상대방이 상호작용하고 있을 때 내가 취한 행동이 성공할지가 상대방이 어떤 행동을 취하는가에
달려 있다면, 이러한 갈등 상황을 경제학자들은 게임이라고 부른다. 예를 들어, 커피전문점에서 아메리카노 한 잔에 붙이는 가격은 주변에서 경쟁 중인 다른 업체들이 아메리카노 한 잔에 얼마를 받고 있는가에 달려 있다. 행여나 “에이, 내가 생각한 게임이랑 다르네?” 하면서 실망하는 분이 없길 바란다. 축구, 바둑, 오버워치, 리그 오브 레전드, 소개팅, 내신 상대평가 등은 모두 게임 이론으로 분석할 수 있다.

해밀턴은 게임 이론에 조금씩 이끌렸다. 런던에서 대학원을 다니면서도 “머리도 식힐 겸 거의 여가 삼
아” 게임 이론을 독학했다. 그렇게 별 생각 없이 습득한 이론이 자신의 전공인 진화생물학에 대해서도 강력한 통찰을 제공함을 어렴풋이 깨달았다. 특히, 해밀턴의 지적 영웅이었던 진화생물학자 로널드 피셔가 장황하게 설명한 어떤 문제도 게임 이론의 틀로 분석하면 아주 깔끔하게 정리됐다. 바로 성비의 진화라는 문제였다.

성비 게임에서 ‘무적의 전략’은 무엇인가?

유성생식을 하는 대다수 동식물에서, 암컷과 수컷은 거의 비슷한 수로 만들어진다. 왜 자연 개체군에서 성비는 대개 1:1일까? 집단 선택론을 따르면, 종에게 가장 이득이 되는 성비가 1:1이기 때문이다. 암수가 백년해로하는 일부일처제적 결합만이 자식을 무사히 길러낸다고 가정하자. 이 경우, 종 전체의 차원에서는 한쪽 성을 쓸데없이 많이 만들어 낭비하기보다는 암수의 숫자를 똑같이 맞춰 생산하는 것이 가장 효율적이다.

집단 선택론적 설명은 피셔의 심기를 건드렸다. 그는 명저 ‘자연 선택의 유전학적 이론’(1930)에서 성비가 대개 1:1인 이유를 개체 선택론으로 설명했다. 게임 이론이 아직 없었던 당시에, 피셔는 “모든 아이는 반드시 한 명의 엄마와 한 명의 아빠가 있다”는 자명한 사실로부터 출발해 개체의 번식 성공도를 최대화하는 성비는 1:1이 된다는 결론을 끌어냈다.

해밀턴은 피셔의 논증을 게임 이론의 틀로 명료하게 다듬었다. 어떤 유전자가 자신이 몸담고 있는 개
체가 낳는 암수 자식들의 상대적 비율에 영향을 끼친다고 하자. 미래의 세대까지 살아남는 후손의 수, 이를테면 손주의 수를 최대화하는 성비를 만드는 유전자가 자연 선택될 것이다. 이제 암컷이 매우 흔한 개체군을 생각해 보자. 이런 상황에서는 딸보다 아들을 낳는 편이 낫다. 아들이 딸보다 배우자를 더 많이 얻어서 손주를 더 많이 얻게 할 것이기 때문이다. 즉, 딸을 많이 낳는 전략이 다수를 차지하는 상황에서는 아들에 집중하는 전략이 성공을 거둔다. 아들만 낳게하는 유전자가 개체군에 널리 전파됨에 따라, 개체군 성비는 점차 1:1에 가까워진다. 마찬가지로, 수컷이 매우 흔한 개체군에서는 딸만 낳는 전략이 유리하므로 성비는 점차 1:1로 복귀한다. 요컨대, 자연 개체군의 성비는 1:1을 안정적으로 유지한다는 것이 피셔의 결론이었다.

축구하는 선수들. 스포츠의 승패는 게임 이론을 통해 분석할 수 있다. 또, 스포츠는 전면적인 공격을 가하지 않는 대리전의 성격을 갖고 있다. 인간에게서도 매파보다 비둘기파가 많이 발견된다는 뜻이다.

해밀턴이 피셔의 난해한 논증을 쉽게 풀어내는 고작(?) 가이드 역할에 만족한 것은 물론 아니다. 해밀
턴은 게임 이론을 도입해 성비 연구를 한 단계 도약시켰다. 피셔의 논증에 깔린 가정들을 일일이 밝혀냄으로써, 몇몇 종에서는 한 쪽 성에 치우친 성비가 나타나는 예외적인 현상들도 매끄럽게 설명할 수 있게됐다. 그의 연구 성과는 1967년 학술지 ‘사이언스’에 ‘특이한 성비’라는 제목의 논문으로 게재됐다. 해밀턴은 이 논문을 자신이 쓴 모든 논문 가운데 으뜸으로 꼽았다(이타성의 진화를 규명한 1964년 논문조차 뒷전으로 밀려나다니!).

한 쪽 성에 치우친 성비를 해밀턴은 어떻게 설명했을까. 피셔의 논증이 기대는 가정 가운데 하나는 배
우자를 얻기 위한 경쟁이 전지역에 걸쳐서 광범위하게 일어난다는 것이다. 그러나, 어떤 종에서는 경쟁이 아주 좁은 장소에 국한돼 일어난다. 기생성 말벌이나 맵시벌의 몇몇 종에서, 어미는 다른 곤충의 유충을 숙주로 삼아서 그 안에 알을 여럿 낳고 가버린다. 숙주 안에서 자라난 자식들은 친남매끼리 교미한 다음에 숙주를 빠져나온다. 즉, 배우자를 얻으려는 경쟁은 숙주 안의 친동기들 사이에서만 일어난다.

어미 말벌이 자식의 성비를 어떻게 조절해야 할지 따져보자. “이는 ‘게임 이론’이 탐구하는 상황과 뜻밖에도 매우 유사하다”고 해밀턴은 말했다. 손주의 수를 최대화하려면, 아들은 딸을 모두 수정시킬 수 있을 만큼 그저 몇 마리만 낳고, 나머지는 몽땅 딸을 낳으면 된다. 암컷에 극단적으로 치우친 성비가 선택되는 것이다. 아들을 그 이상 더 낳는 것은 사치이자 낭비일 뿐이다. 실제로 이런 종들에서는 암컷에 크게 치우친 출생 성비가 관찰된다. 앞에서 개체군 성비가 1:1이 되는 상황과의 차이점을 눈치챘는가. 배우자를 얻으려는 경쟁이 숙주 내에서만 벌어지므로, 어미 말벌의 입장에서는 개체군내의 다른 말벌들이 어떤 성비로 자식을 낳는가는 중요하지 않다. “다른 말벌들이 모두 딸을 더 많이 낳았으니 나는 아들에 집중해야지!”라고 외쳐봤자 실익이 없다는 말이다.

ESS가 어떻게 등장했는가 추적하는 우리의 여정에서 기억할 사항이 있다. 해밀턴은 성비를 만드는 전략들이 벌이는 게임에서 어떤 성비가 ‘무적의(unbeatable)’ 성비인지 찾고자 했다. ‘무적의 전략’은 다른 그 어떤 전략보다 높은 적합도를 제공하므로 개체군에서 안정적으로 유지되는 전략이다. ‘무적의
전략’이 ESS와 어떻게 다른지는 나중에 다룬다.

싸우는 젊은 수컷 노새사슴. 뿔을 무기로 격렬하게 싸우지만, 결코 상대를 죽음에 이르게 싸우지는 않는다. 왜 이런 ‘비둘기파 전투’가 진화했을까.

매-비둘기 게임: 왜 제한전만 펼치는 비둘기파가 더 흔한가?

승자가 모든 과실을 독차지한다. 얼른 생각하면, 같은 종에 속한 동물들 사이에 벌어지는 싸움의 속성을 이보다 더 적절히 요약하기도 어려울 듯하다. 싸움에 이긴 수컷은 짝짓기 기회, 높은 우열 순위, 먹잇감, 영토 등을 싹쓸이한다. 이 귀중한 전리품들은 승자의 유전자를 다음 세대에 더 많이 남기게 해주고, 패자의 유전자를 무대 뒤로 몰아낸다. 그러니 자연 선택은 파괴적인 무기로 무장한 채 적을 향해 다짜고짜 돌진하는 전사들만을 진화시키리라고 기대할 수 있다.

항상 피가 낭자한 전면전에 돌입하는 매파 전략도 물론 자연계에 존재한다. 그러나, 동종 개체들 사이
에 실제로 벌어지는 싸움을 보면, 비효율적인 무기를 들고서 적을 향해 잔뜩 무게만 잡다 끝나는 허당들이 더 많이 관찰된다. 이를테면, 많은 종의 뱀에서 수컷들은 서로 엉켜서 몸싸움을 벌이지만, 정작 독을 품은 송곳니는 쓰지 않는다. 노새사슴(mule deer) 수컷들은 커다란 사슴뿔을 서로 맞부딪히면서 싸우지만, 정작 상대방의 급소를 사슴뿔로 찌르진 않는다.

상대에게 별로 타격을 입히지 않는 제한전에 만족하는 비둘기파 전략이 왜 더 일반적일까? 왜 싸움이
불거질 때마다 상대의 숨통을 끊으려 덤벼들지는 않는가? 동물행동학자 콘라트 로렌츠와 진화생물학자 줄리언 헉슬리는 의례적이고 형식적인 공격 행동이 대세를 이루는 까닭을 집단 선택론으로 설명했다. 갈등이 생길 때마다 유혈이 낭자한 전면전이 매번 발발한다면, 종 전체의 생존이 위협받기 때문이라는 것이다.위대한 과학적 발견을 이루고자 홀로 런던으로 이사한 진화생물학 초심자 조지 프라이스는 이 설명이 마음에 들지 않았다. 보기엔 화려하지만, 형편없이 비효율적인 무기인 사슴뿔 같은 기관이 진화한 까닭을 개체 선택론으로 설명할 수는 없을까? 마침 프라이스에게는 이 문제를 풀 단서를 알려줄 사람이 있었다. 게임 이론을 진화생물학에 도입한 논문을 막 출간한 해밀턴이었다.

전중환_evopsy@gmail.com
서울대 생물학과에서 학사와 석사를 마치고 미국 텍사스대 심리학과에서 박사학위를 받았다. 진화심리학 전문가이며 현재 경희대 후마니타스칼리지 교수로 재직 중이다.