협력이 진화한 이유를 탐구한 윌리엄 해밀턴은 결국 다른 학자들이 상상하지 못했던 기발한 착상으로 깔끔한 ‘협력의 공식’을 완성한다. 이 공식은 ‘해밀턴의 규칙’이라고 불리며 이타성의 진화를 명쾌하게 설명해 줬다. 그 핵심을 불쌍한 수컷 칠면조의 사례와 함께 알아보자.

1963년, 유니버시티 칼리지 런던(UCL)의 동물학과 건물. 존 메이나드 스미스 교수가 연구실에 앉아 ‘이론 생물학 저널(Journal of Theoretical Biology)’에 투고된 원고 한 편을 심사하고 있었다. 수식도 많고 내용도 생소해서 이 원고의 심사를 먼저 의뢰 받은 다른 두 심사자는 도저히 못 읽겠다고 항복을 선언한 상태였다.

“이제 메이나드 스미스 교수님밖에 심사할만한 사람이 없어요”라고 하소연하던 편집장의 목소리가 생각났다.

원고를 읽어보니, 내용이 어렵기도 했지만 수학기호 표기법이 독특해서 저자가 무슨 말을 하려는지 잘 와 닿지 않았다. 설상가상으로, 저자가 쓴 타자기가 낡아서 하얀 동그라미(○) 기호와 검은 동그라미(●) 기호가 쉽게 구별되지 않았다. “게재불가로 판정해야겠군.” 메이나드 스미스는 중얼거렸다. 그때였다. 메이나드 스미스의 시선이 ‘포괄 적합도’라는 단어를 담은 한 문장으로 향했다. 논문의 핵심 아이디어가 섬광처럼 뇌리에 들어왔다. “그래, 왜 나는 이걸 생각하지 못했담!” 그는 길게 탄식했다.

이 원고는 윌리엄 해밀턴이 투고한 ‘사회적 행동의 유전적 진화’였다. 1964년에 게재된 논문은 심사위원인 메이나드 스미스의 조언(조언이라 쓰고 명령이라 읽는다)에 따라 둘로 나뉘어 실렸다.

있을까1부에서는 포괄 적합도를 수학적으로 유도했다. 2부에서는 동물의 예를 들어가며 논의했다. 이 논문의 핵심을 ‘해밀턴의 규칙’이라고 부르는데, 이에 대해 자세히 알아보자.

포괄 적합도는 개체의 관점에서 바라본 개념이다

사회적 행동을 일으키는 유전자가 다음 세대에 남기는 복제본의 개수를 정확히 세는 방법으로 해밀턴은 ‘포괄 적합도’와 ‘이웃-조정 적합도’라는 두 가지 동등한 방법을 제시했다(지난 화 참조). 이 중 ‘포괄 적합도’는 남들이 나에게 준 적합도 효과를 무시한 채 행위자의 관점에서 내가 (나를 포함한) 다른 개체들에게 준 적합도 효과들을 따진다. 이 때 유전적 근연도를 일일이 가중해 더한다.

번식상의 손실(c)을 감수하면서 상대방에게 이득(b)을 주는 이타적 행동을 생각해 보자(b>;c>;0). 기본으로 얻는 적합도는 1이다. 이타적 행위자와 상대방이 이타적 행동을 일으키는 유전자를 공유할 확률이 r이라면, 이타주의자의 포괄 적합도는 1+1·(-c)+r·(b)이다. 자연선택은 개체의 포괄 적합도를 증가시키는 방향으로 작동한다. 포괄 적합도가 1보다 크면, 즉 -c+rb>;0이면 이 이타적 행동을 일으키는 유전자는 다음 세대에 복제본을 현 세대보다 더 많이 남기게 된다(오른쪽 페이지 그림 참조).

이처럼 포괄 적합도가 어디까지나 개체의 관점에서 바라본 개념임은 다음 인용문에서도 드러난다.

각각의 개별적인 행동이 일어나는 상황에서, 개체는 자신의 적합도에 대비해 그 상황에 해당하는 근연도 계수만큼 이웃의 적합도도 일정부분 중시하는 방향으로 종의 사회적 행동이 진화할 것이다(해밀턴, 1964년).

요컨대, 해밀턴이 철저하게 ‘이기적인 유전자’의 관점에서 사고한 선구자라는 믿음은 오해다. 해밀턴이 유전자가 마치 사람처럼 다음 세대에 자신의 복제본을 더 많이 남기려 골몰하고 분투한다는 은유를 종종 쓰긴 했다. 그러나 이는 그저 설명의 편의를 위한 도구였다. 다행히 우리는 도킨스 덕분에 명료한 ‘유전자의 눈’ 관점을 얻게 되었다. 이 관점을 마음껏 적용해서 해밀턴의 규칙을 파헤쳐보자.

어떤 조건에서 이타성이 선택되는가

해밀턴의 규칙은 이타적 행동을 일으키는 유전자가 어떤 조건에서 선택되는지 밝혀준다. 행위자의 몸 속에 들어 앉은 유전자의 관점에서 보면, 누구를 통해서건 다음 세대에 복제본만 더 많이 남기면 된다. 즉, 행위자든 상대방이든 유전자에게는 그저 전달수단에 불과하다. 행위자로 하여금 손실(c)을 감수하면서 상대방에게 이득(b)을 주게 만든 이타적 행동을 일으키는 유전자가 선택될 조건은 다음과 같다(b>;c>;0라고 가정).

이타적 행동을 일으키는 유전자가 보기에, 선행으로 상대방이 얻는 이득(b)이 충분히 커서 1보다 작은 유전적 근연도(r)를 곱하고도 그 값(rb)이 여전히 행위자가 감수하는 손실(c)보다 크다면, 이 유전자는 다음 세대에 복제본을 더 많이 남길 수 있다. 이것이 해밀턴의 규칙이다. 이타적 행동은 상대방이 얻는 이득에 근연도를 곱해서 삭감한 값이 행위자가 입는 손실보다 클 때만 선택된다. 즉, 상대방을 도와줘서 남기게 되는 유전자의 복제본 개수(rb)가 행위자에게 해를 끼쳐서 줄어드는 복제본 개수(c)보다 많아야 이타적 행동은 선택된다. 두 개체 사이의 근연도(r)가 높을수록, 그리고 이타적 행동이 효율적이어서 손실 대비 이득(b/c)이 클수록 이 유전자는 선택되기 쉽다(구체적 사례는 왼쪽 박스 참조).

야생 칠면조의 협력 구애

해밀턴의 부등식이 성립해 혈연 사이에 이타적 행동이 선택된 사례를 하나 살펴보자. 야생 칠면조 사이에서는 나이가 같은 두 수컷이 함께 팀을 이뤄 암컷을 유혹한다. 짝짓기가 끝난 후에도 두 수컷이 서로 힘을 모아서 교미한 암컷을 다른 경쟁 수컷들로부터 지켜낸다. 그런데 아주 이상한 사실이 있다. 두 수컷 중 하나는 우위자라서 암컷과의 짝짓기를 독점한다. 나머지 수컷은 열위자다. 죽어라 일만 할 뿐, 암컷과는 한 번도 교미하지 않는다. 열위 수컷은 도대체 왜 바보처럼 우위자를 돕기만 할까. 차라리 독립해서 혼자 암컷을 유혹하는 게 낫지 않을까.

행동생태학자 앨런 크라카우어는 두 칠면조 수컷들의 협력 구애는 친형제 간의 이타적 행동으로 설명된다고 제안했다. 이를 뒷받침하고자 해밀턴의 규칙에 나오는 세 변수인 r, b, c를 야외에서 측정했다. 분자유전학 기법을 동원한 결과, 한 팀 내에서 수컷들 간의 평균 근연도는 0.42였다. 열위 수컷이 이타적 행동으로 감수하는 손실을 측정하고자, 팀에 참여하는 열위 수컷의 자식 수(0)와 혼자서 암컷을 유혹하는 외톨이 수컷의 자식수(0.9)를 비교했다. 즉, 열위 수컷이 감수하는 손실은 0.9-0=0.9였다. 열위 수컷의 이타적 행동으로 우위 수컷이 얻는 이득을 측정하고자, 팀에 참여하는 우위 수컷의 자식수(7)와 외톨이 수컷의 자식수(0.9)를 비교했다. 즉, 우위 수컷이 열위 수컷의 이타적 행동으로 얻는 이득은 7-0.9=6.1이었다.

이제 해밀턴의 규칙에 세 변수의 값을 넣으면 된다. rb–c=(0.42×6.1)-0.9=1.7이다. 이는 0보다 크므로 해밀턴의 규칙은 성립한다. 즉, 열위 수컷이 우위 수컷의 짝짓기를 도와주면서 감수하는 비용은, 자신의 친형인 우위 수컷이 더 많은 짝짓기 기회를 얻어서 생기는 간접적인 이득으로 상쇄되고 남는다.

선행은 진화할 수 있다. 선행이 주는 이득(b)을 두 사람 사이의 근연도(r)로 곱해 삭감한 값이 선행에 의한 손실(c)보다 크다면 말이다. 해밀턴의 규칙은 세 가지 변수가 들어가는 일종의 비용-편익 분석을 통해 이타성이 진화하는 조건을 깔끔하게 알려준다. 워털루 기차역의 대기실 의자에 앉아 외로움과 우울증에 시달리며 복잡한 수식을 노트에 채우던 나날은 마침내 보상을 받았다. 물론 이는 시작에 불과했다.