d라이브러리

영화 ‘뷰티풀 마인드’는 게임이론으로 1994년 노벨경제학상을 받은 수학자 존 내쉬의 이야기다. 영화는 2002년 아카데미상을 4개나 받았다. 내쉬의 천재적이면서 또 불행한 삶에 대한 자세한 내용은 한국에서도 번역된 같은 제목의 전기에 담겨 있다. 그가 미국 프린스턴대 수학과 대학원에 응시했을 때 받은 추천서에는 단 한 문장이 적혀 있었다. “이 사람은 천재다(This man is a genius).”

양보가 미덕인 이유
현대 컴퓨터의 개념을 확립한 수학자 존 폰 노이만이 창안한 게임이론은 상대방의 선택이 개인의 성공에 영향을 줄 때 최적의 방안을 찾는 전략을 연구하는 응용수학의 한 분야다. 내쉬는 게임의 균형점이라는 획기적인 개념을 도입했고 그를 기념해서 ‘내쉬 균형점’이라 부른다. 게임에 참가하는 주체들이 최선의 전략을 택했다면 이 상태를 바꿀 이유가 없기 때문에 계속 유지된다는 이론이다.

가장 유명한 예가 ‘죄수의 딜레마’로 알려진 상황이다. 두 용의자 A, B가 격리돼 조사를 받고 있는데 자백 여부에 따라 형량이 달라진다.

1. 둘 중 한 명이 자백을 하고 다른 사람은 안 할 경우 전자는 풀려나고 후자는 10년형을 받는다.
2. 둘 다 자백을 하면 같이 5년형을 받는다.
3. 둘 다 자백을 하지 않으면 같이 1년형을 받는다.

내가 용의자 A라면 어떤 선택을 해야 할까. 먼저 B가 자백을 할 경우를 생각해보자. 만일 나도 자백한다면 5년형을 받지만 자백하지 않는다면 10년형이다. 따라서 자백해야 한다. 한편 상대가 자백하지 않을 경우 내가 하면 풀려나고 안 하면 1년형을 받는다. 이 경우도 자백해야 한다. 결국 상대방의 선택에 관계없이 나는 자백하는 게 유리하다.

문제는 이런 상황이 B도 마찬가지라는 것. 결국 A와 B 모두 5년형을 받게 되는데 이는 둘 다 자백하지 않을 경우인 1년형보다 훨씬 나쁜 결과다. 이처럼 어떤 상황에서 자신의 이익만을 고려해 택한 최선의 선택이 오히려 타인을 배려했을 때의 선택보다 못한 경우를 종종 볼 수 있다. 부시 대통령 시절 미국이 교토협약에서 탈퇴해 이산화탄소 감축 의무를 외면한 것도 추가비용으로 인한 경쟁력 감소를 우려한 판단이지만 결과적으로 지구온난화에 따른 허리케인, 산불 등 자연재해로 엄청난 비용을 지불하고 있다. 물론 이런 재해와 지구온난화는 무관하다고 주장하는 사람들도 있다.

그런데 주변을 둘러보면 사람들이 어떤 행동을 선택할 때 자신의 이익을 고려하지 않는 예를 어렵지 않게 볼 수 있다. 동물의 세계에서도 이런 현상을 볼 수 있는데, 말벌의 침입으로부터 집을 지키기 위해 목숨을 버리는 꿀벌의 행동이 대표적인 예다. 아직까지 널리 인정받지는 않았지만 게임이론을 도입한 진화론으로 이런 이타심을 설명하려는 시도가 오래 전부터 있었다.

시내를 주행할 때 평균 속력(km/h)이 다음같이 결정되는 상황을 생각해보자.

만일 A가 양보하고 B가 새치기를 하는 경우 (5, 20)으로 표시되는데 A는 시속 5km로 이동하고 B는 시속 20km로 주행함을 의미한다. 서로서로 순서를 지켜 양보하는 마음을 가지면 둘 다 시속 30km로 달리고, 모두 새치기하려 들면 둘 다 시속 10km밖에 속도를 내지 못한다.

어떤 도시에서는 시민들이 제법 공중도덕을 잘 지켜서, 양보하려는 성향을 가진 사람들이 인구의 80%, 새치기하려는 성향을 가진 사람들이 인구의 20%라고 하자. 이제 그 도시로 방금 새로 이사 온 사람이 양보운전을 할 경우 그가 받을 기댓값은
30×0.8(즉80%)+5×0.2(즉 20%)=25이고,
새치기운전을 할 경우 그가 받을 기댓값은
20×0.8+10×0.2=18이다.

25 ＞ 18 이므로 양보운전을 할 경우 더 커다란 이익을 얻는다. 결국 이 도시는 갈수록 더 좋은 도시가 된다는 뜻이다. 생물학으로 이야기를 옮겨보면 자연계에서 살아남을 가능성이 더욱 높아서 나중에는 결국 양보하는 성향을 가진 종의 숫자가 많아져 생태계를 지배하게 된다는 뜻이다.

반대로 애초에 공중도덕이 혼탁해 양보하려는 사람들이 20% 뿐이고 새치기하려는 사람이 80%나 되는 도시가 있다고 하자. 이제 새로 이사 온 사람이 양보운전을 할 경우 받을 기댓값은
30×0.2(즉20%)+5×0.8(즉80%)=10이고,
새치기운전을 할 경우 받을 기댓값은
20×0.2+10×0.8=12
10＜12 이므로 새치기운전을 택할 것이고 그 결과 사회는 더욱 혼탁하게 될 것이다.

만일 양보하려는 사람들이 1/3이라면 새로 온 사람이 받을 기댓값은 어떤 성향이든 관계없이 시속 13.3km를 얻게 된다. 이는 내쉬 균형점과 관련이 있는데 다소 복잡한 상황이므로 구체적인 설명은 생략한다.

아무튼 이처럼 단순한 설명이 주목받는 이유가 있다. 어떤 생물 개체가 자기 종의 보존이나 자신의 DNA와 비슷한 동료의 DNA를 보존하기 위해 희생하는 행위를 설명하는 이유를 찾으려고 진화론자들이 고민할 필요가 없기 때문이다. 양보하는 성향을 가진 종이 번성하는 이유를 수학적으로 간단하게 설명해주기 때문이다.

공작새 수컷이 화려한 꼬리를 가지는 이유를 별로 쓸모없는 꼬리까지도 이렇게 치장할 수 있을 만큼 건강한 수컷이라는 것을 암컷에게 보이기 위함이라고 주장하는 생물학자도 있다. 간단하게 말해서 ‘정직이 최선의 정책이다’라는 전략이 여기에서 주된 선택이 됐다. 건강하지 않은 수컷은 기껏 힘을 들여서 화려한 꼬리를 만들더라도 몸이 부실해 자기 유전자를 보존할 기댓값이 낮기 때문에 결국 사라진다.

여기에는 한 가지 문제가 있는데 이런 주장을 단지 재미있다는 이유로 쉽게 받아들이면 사회진화론이라는 이름으로 인종차별이나 남녀차별까지 정당성을 인정하는 꼴이 된다. 수학이론은 사회를 이해하는 또 다른 관점을 제시할 뿐이라는 점을 잊지 말자.

한상근 교수는 미국 오하이오주립대에서 박사학위를 받고 1989년 KAIST에 부임했다. 정수론과 그 응용인 암호학, 정보학 분야를 연구하고 있다. 1992년 조선시대 수학자 최석정의 저서 ‘구수략’을 접하고 이듬해 ‘최석정과 그의 마방진’이라는 논문을 써 최석정이 조합론 분야의 원조임을 알리는 데 기여했다.