
윌리엄 해밀턴의 첫 논문은 1963년에 나왔다. ‘이타적 행동의 진화’라는 제목으로 학술지 ‘아메리칸 내추럴리스트’에 실린 단 3쪽짜리 논문이었다. 먼저 출간되긴 했지만, 이 소논문은 이듬해 ‘이론 생물학 저널’에 실린 두 논문 ‘사회적 행동의 유전적 진화 I, II’보다 나중에 쓰여졌다. 해밀턴은 3년여의 연구성과를 집대성한 긴 논문을 먼저 써서 ‘이론 생물학 저널’에 투고했지만, 심사위원들로부터 글이 너무 장황하니 둘로 나누어서 다시 투고하라는 결정을 받았다. 심사위원 입맛대로 고치려면 또 긴세월이 걸릴 터였다.
해밀턴은 그동안 헛수고를 하지 않았음을 빨리 입증하고 싶었다. 긴 논문의 요약본에 해당하는 글을 부랴부랴 써서 ‘네이처’에 보냈다. 이 소논문은 거의 발송하자마자 ‘네이처’ 편집장으로부터 게재불가 판정을 받았다. 편집장은 주제를 감안해 볼때 심리학이나 사회학 학술지에 투고하는 게 낫겠다고 친절하게(?) 조언해줬다. 결국 이 소논문을 실어준 게 ‘아메리칸 내추럴리스트’였다. 그리고 이 논문은, 다음 해의 두 논문과 함께 진화생물학에 새로운 혁명이 도래했음을 알리는 서막이 됐다.
사회적 행동에 있는 4가지
생물학에도 근본적인 법칙이 있을까. 흔히 논쟁이 벌어지는 질문이다. 여기에 대한 로널드 피셔의 답은 아마 이랬을 것이다.
“물론이지. 내가 발견했잖아.” 피셔는 “자연 선택은 각 개체의 적합도(평생 낳는 자식수)를 증가시킨다”는 결론을 내리고 이를 ‘자연 선택의 근본정리’라고 이름 붙였다. 피셔는 이 정리가 생명 과학에서 최상의 위치를 차지하며 열역학 제2법칙에 비견할 만하다고 주장했다.
피셔의 극성 팬을 자처했던 해밀턴은 이 근본정리가 유독 사회적 행동에 대해서는 성립하지 않는다는 사실을 안타까워했다. 달리 말하면, 해밀턴이 스스로 부여한 사명은 피셔의 근본정리를 확장하고 발전시키는 것이었다. 진화 이론에 따르면 개체의 적합도를 늘리는 데 기여하는 유전자는 항상 선택된다. 그런데 왜 개체의 적합도를 낮추는 이타적 행동이 선택된 걸까. 유전자가 사회적 행동을 만들건 다른 형질을 만들건 간에, 자연선택은 개체의 ‘이것’을 일편단심 증가시키려 한다는 일반 법칙을 우리가 내놓을 수 있을까.
우선 사회적 행동을 분류하고 넘어가자. 사회적 행동은 행동을 하는 당사자의 적합도뿐만 아니라 상대방의 적합도에도 영향을 끼치는 행동으로 정의된다. 적합도를 증가 또는 감소시키느냐에 따라 해밀턴은 사회적 행동을 네 가지로 분류했다(다음 페이지 표). 첫째, 당사자의 적합도와 상대방의 적합도를 모두 높이는(+/+) 행동은 ‘상리적(mutually beneficial)’인 행동이다. 예를 들어 침팬지는 여럿이 힘을 합쳐 먹이를 사냥한 다음에 획득한 음식을 나눠 먹는다. 둘째, 당사자의 적합도를 높이면서 상대방의 적합도를 낮추는(+/-) 행동은 ‘이기적(selfish)’인 행동이다. 셋째, 당사자의 적합도를 낮추면서 상대방의 적합도를 높이는(-/+) 행동은 ‘이타적(altruistic)’인 행동이다. 넷째, 당사자와 상대방의 적합도를 모두 낮추는(-/-) 행동은 ‘악의적(spiteful)’인 행동이다. 악의적인 행동은 ‘너 죽고 나 죽자’는 식으로 기꺼이 손실을 감수하면서 남에게 해코지를 하는 행동이다. 이런 앙심은 다음 기회에 다루기로 한다.

뻔한 분류체계라고 여길지 모르지만, 이 분류체계는 매우 중요하다. 어떤 행동이 이로운지 혹은 해로운지를 판가름하는 잣대는 개체가 ‘평생 동안’ 낳은 자식수(적합도)에 그 행동이 끼친 영향임을 못박고 있기 때문이다. 예를 들어 친족이 아닌 사람끼리 “내가 널 도와줄게, 다음엔 네가 날 도와다오”라는 식으로 도움을 주고 받는 상호성(reciprocity)은 이타적 행동이라 할 수 없다. 내가 남을 도와줄 땐 일시적으로 잠깐 손해를 보지만, 장기적으로는 서로 도움을 주고 받음으로써 둘 다 평생 낳는 자식 수를 증가시킨다. 따라서 상호성에 의한 친절은 이타적 행동이 아니라 상리적 행동이다.
물론 어떤 개체가 남을 도와줄 때 그 당사자의 적합도가 증가하는지 감소하는지 알아내기란 쉽지 않다. 예를 들어, 벨딩땅다람쥐(Belding’s ground squirrel, 위 사진)는 포식자가 나타나면 경고음을 내서 다른 개체들이 피신하게끔 도와준다. 모두 혼비백산하는 난장판을 연출해서 포식자를 혼란시켜 결국 경고음을 낸 개체도 이득을 보는지, 아니면 포식자의 눈에 잘 뜨는 바람에 더 잡아 먹히는 손해를 보는지는 1977년에 동물행동학자 폴 셔먼이 이 행동을 본격적으로 연구하기 전까지 수수께끼였다.
이제 당사자의 적합도가 증가하건 감소하건 간에, 상대방의 적합도를 높여주게끔 자연 선택에 의해 진화된 행동을 ‘협력적(cooperative)’인 행동이라고 부르자. 그것이 이타적 협력(-/+)인지 상리적 협력(+/+)인지 대개 나중에서야 알 수 있다. 요컨대, 오늘날 진화생물학자들은 이타성과 상호이득을 묶어서 어쨌든 다른 개체의 적합도를 높여주게끔 진화한 행동을 ‘협력(cooperation)’이라고 부른다.
자연선택은 개체의 포괄 적합도를 증가시킨다
해밀턴의 목표가 피셔의 근본정리를 사회적 행동의 진화도 잘 설명하게끔 확장시키는 것이었음은 1963년 논문의 첫 단락만봐도 알 수 있다. “(자연 선택의 고전적) 이론은 동물이 손실을 감수하면서 자기의 직계 자손이 아닌 동종의 다른 개체에게 이득을 주게끔 행동하는 경우를 설명할 수 없다.” 이런 이타적 행동을 잘 설명한다고 그동안 믿어져 온 집단 선택은 “수식 모델로 지지되지 않는다.” 집단 선택과 단칼에 결별한 다음, 해밀턴은 말한다. “그러나, 고전적 이론을 확장시켜 (…) 부모의 자식 돌보기와 무관한 이타적 행동의 진화도 설명할 수 있도록 (…) 일반화할 수 있다.”
어떻게? 자연 선택은 다음 세대에 복제본을 더 많이 남기는 유전자의 빈도가 흔해지는 과정임을 되새기면 된다. 사회적 행동을 만드는 유전자는, 그 유전자가 실제로 어떤 경로를 거쳤건 간에, 어쨌든 다음 세대에 자신의 복제본을 더 많이 남기기만 한다면 선택될 수 있다.
한 쌍의 대립유전자 G와 g를 상상해 보자. G는 이타적 행동을 하게 만드는 반면, g에 의한 영향은 없다. ‘최적자 생존’의 원칙에도 불구하고, G가 전파될지 아닐지 결정짓는 궁극의 기준은 그 이타적 행동이 행동한 당사자에게 이득이 되는가가 아니라 유전자 G에게 이득이 되느냐다 (해밀턴, 1963년, 352쪽).

갑돌이 몸속에 들어 앉아서 사회적 행동을 일으키는 유전자의 관점에서 생각해 보자(유전자가 정말로 의도나 목적을 지닌다는 말은 물론 아니다. 그저 이해를 돕기 위한 비유일 뿐이다). 다음 세대에 전파되기 위해 이 유전자가 택할 수 있는 한 가지 경로는 갑돌이가 자식을 많이 얻게끔 돕는 것이다. 이를테면, 을돌이로부터 호빵을 탈취해서 갑돌이가 먹게끔 하는 것이다. 또다른 경로도 있다. 만약 을돌이의 몸 속에도 이 유전자의 복제본이 들어 있을 확률이 있다면, 을돌이가 자식을 많이 얻게끔 도와줌으로써 갑돌이 안의 유전자는 간접적으로 다음 세대에 전파될 수 있다. 어차피 유전자의 지상목표는 다음 세대에 복제본을 많이 남기는 것이므로 꼭 현재 들어 앉아 있는 갑돌이에게만 집착할 이유는 없다. 누구를 통해서든지 복제본만 많이 남기면 그만이다.
우리는 방금 고전적 진화 이론을 사회적 행동도 설명하게끔 확장시켰다. 사회적 행동에 관한 한, 자연선택은 행동을 하는 당사자의 자식 수(직접 적합도(direct fitness), 즉 고전적 의미의 적합도)를 신경 쓸 뿐만 아니라, 그 행동을 일으킨 유전자를 공유할 확률이 있는 상대방의 자식 수에 끼친 영향의 일부분(간접 적합도(indirect fitness))도 마치 자기 것인 양 신경을 쓰게끔 작용한다. 직접 적합도와 간접 적합도를 합하면 바로 ‘포괄 적합도(inclusive fitness)’가 된다.
우리는 방금 고전적 진화 이론을 사회적 행동도 설명하게끔 확장시켰다. 사회적 행동에 관한 한, 자연선택은 행동을 하는 당사자의 자식 수(직접 적합도(direct fitness), 즉 고전적 의미의 적합도)를 신경 쓸 뿐만 아니라, 그 행동을 일으킨 유전자를 공유할 확률이 있는 상대방의 자식 수에 끼친 영향의 일부분(간접 적합도(indirect fitness))도 마치 자기 것인 양 신경을 쓰게끔 작용한다. 직접 적합도와 간접 적합도를 합하면 바로 ‘포괄 적합도(inclusive fitness)’가 된다.

해밀턴은 1964년 논문에서 사회적 행동의 경우 자연 선택은 각 개체의 포괄 적합도(고전적인 의미의 직접 적합도가 아니라!)를 최대화하는 방향으로 작용함을 입증했다. 눈의 시력을 좋게 해서 야밤에 절벽에서 추락하지 않게 해주는 형질처럼, 사회적 행동과 상관 없이 당사자의 적합도에만 영향을 끼치는 유전자의 경우는 상대방과 유전자를 공유할 확률이 0인 특수한 상황에 속한다고 할 수 있다. 이로써 해밀턴은 1859년 다윈이 ‘종의 기원’을 출간한 이래 가장 중요한 혁명을 이룩했다. 자연선택은 개체의 적합도를 최대화하지 않는다. 자연선택은 개체의 포괄 적합도를 최대화한다.
‘유전자의 눈’ 관점의 씨앗을 심다
자연선택에 의한 진화는 개체가 무엇을 최대화하게끔 행동하게 만들까? 해밀턴이 찾은 정답은 포괄 적합도, 즉 어떤 행동이 당사자의 적합도에 끼친 영향뿐만 아니라 그 유전자를 공유할지도 모르는 다른 개체의 적합도에 끼친 영향의 일부분도 포괄하는 척도였다. 이처럼 포괄 적합도는 어디까지나 개체의 관점에서 바라본 개념이다.
그러나 위의 인용문에서 드러나듯이, 해밀턴의 초창기 논문들에서 ‘유전자의 눈’ 관점(Gene’s eye view)도 엿볼 수 있다. 다음 세대에 더 많은 복제본을 남기려는 의도와 목표를 지니며, 이를 실행에 옮기고자 분투하는 유전자 말이다. 이런 은유는 해밀턴의 1972년 논문에서 한층 더 명확히 드러난다. “개체의 사회적 행동에 영향을 끼치는 (…) 유전자에게 일시적으로 지능을 허락하고 어느 정도 선택의 자유도 부여함으로써 논의를 좀더 생생하게 만들어 보자.” 두말할 필요 없이, 이런 ‘유전자의 눈’ 관점은 1976년 리처드 도킨스가 저술한 ‘이기적 유전자’를 통해 크게 발전해 행동생태학의 전분야를 통합하는 중심 이론으로 자리잡았다.
공정하게 말하면 이렇다. 해밀턴이 ‘유전자의 눈’ 관점의 씨앗을 심었다면, 도킨스는 이를 거목으로 뿌리내리게 했다. 도킨스의 ‘이기적 유전자’가 해밀턴, 로버트 트리버스, 조지 윌리엄스, 메이너드 스미스 등 기존 학자들의 연구를 알기 쉽게 포장한 과학 대중서에 불과하다는 폄하를 국내에서도 종종 접하는 것은 그래서 안타까운 일이다.
