둘 다 배신하면 왜 다 같이 망할까? 수학이 풀어낸 눈치 게임, '죄수의 딜레마'

서론: 경찰의 교묘한 협상술

은행을 털다 붙잡힌 두 명의 공범(A와 B)이 있습니다. 경찰은 결정적인 증거가 부족해 이대로 가면 두 사람 모두 가벼운 무기 소지죄(징역 1년)만 받고 풀려날 상황입니다. 형사는 교묘한 작전을 짭니다. A와 B를 서로 얼굴도 못 보는 완전히 분리된 독방에 가두고, 각각에게 찾아가 이렇게 똑같은 딜(협상)을 제안합니다.

"네가 은행을 털었다고 자백(배신)하면, 너는 즉시 무죄로 풀어주고 네 친구는 징역 10년을 살게 될 거야. 반대로 네 친구가 자백하고 네가 끝까지 침묵(협력)하면, 네가 독박을 쓰고 10년을 감방에서 썩을 거다. 만약 둘 다 똑같이 자백(배신)한다면, 둘 다 징역 5년씩이다." 이 악랄한 제안 앞에서 두 죄수는 어떤 선택을 해야 할까요? 이것이 바로 존 폰 노이만과 존 내시가 집대성한 전략적 수학, **'게임 이론(Game Theory)'**의 가장 위대하고 유명한 사고실험인 **'죄수의 딜레마(Prisoner's Dilemma)'**입니다.

본론: 똑똑한 이기심이 낳는 멍청한 결과

1. 죄수 A의 뇌 속에서 벌어지는 치열한 눈치 게임

독방에 갇힌 죄수 A는 친구 B가 무슨 선택을 할지 전혀 모릅니다. A는 철저히 이기적이고 합리적으로 자기 형량을 줄일 계산을 시작합니다.

• 가정 1 (친구가 나를 믿고 끝까지 침묵한다면?): 나도 의리를 지켜 침묵하면 나는 '징역 1년'입니다. 하지만 내가 혀를 날름 놀려 친구를 배신(자백)하면 나는 1년마저 안 살고 '무죄(석방)'로 즉시 풀려납니다. (결론: 배신하는 게 이득이다!)
• 가정 2 (친구가 배신하고 나를 찔렀다면?): 내가 멍청하게 의리를 지켜 침묵하면 나는 억울하게 10년 독박을 씁니다. 하지만 나도 같이 친구를 찌르고 자백(배신)하면 5년만 살면 됩니다. 10년 감방에 가는 것보다 5년이 훨씬 낫습니다. (결론: 친구가 배신해도 나 역시 배신하는 게 이득이다!)

2. 내시 균형 (Nash Equilibrium): 모두가 망하는 최악의 합리성

놀랍게도 죄수 A의 머릿속 계산 결과는 친구가 침묵하든 배신하든 상관없이, 무조건 내가 **'자백(배신)'**하는 것이 수학적으로 나에게 가장 이득이라는 결론이 나옵니다. (이를 우월 전략이라고 합니다.)

문제는 옆방에 있는 죄수 B 역시 바보가 아니기 때문에, A와 완벽하게 똑같은 이기적인 계산을 통해 무조건 '자백(배신)'을 선택한다는 것입니다. 결과적으로 서로를 믿고 끝까지 입을 다물었다면 둘 다 징역 1년씩만 살고 훈훈하게 풀려났을(전체 최적화) 두 사람은, 서로 배신하는 '최선의 합리적' 선택을 한 대가로 둘 다 징역 5년씩 감방에서 썩어 문드러지는 최악의 수렁에 빠지게 됩니다. 이렇게 상대방의 전략에 맞추어 서로가 자기 이익을 극대화하려다 꼼짝달싹 못 하고 최악의 상황에 갇혀버리는 상태를 노벨 경제학상을 받은 천재 존 내시의 이름을 따서 **'내시 균형'**이라고 부릅니다.

3. 현실 세계의 딜레마들

이 끔찍한 죄수의 딜레마는 우리 주변에 널려 있습니다.

• 군비 경쟁: 미국과 소련이 서로 핵무기를 감축하면(침묵) 둘 다 평화로울 텐데, 상대가 몰래 핵을 만들까 봐 불안해서 나도 미친 듯이 핵을 만들어(배신) 결국 둘 다 엄청난 국방비를 날리고 멸망의 위기에 처합니다.
• 기업의 가격 경쟁: 치킨집 사장님 두 명이 가격을 올리기로 담합하면(침묵) 둘 다 이익을 봅니다. 하지만 상대방이 뒤통수를 치고 가격을 내릴까 봐 두려워, 서로 먼저 가격을 깎고 출혈 경쟁을 하다(배신) 둘 다 파산합니다.
• 환경 오염: 모든 공장이 매연 필터를 달면(침묵) 공기가 맑아집니다. 하지만 필터값이 아까워 누군가는 매연을 뿜을 것이므로 나도 그냥 정화하지 않고 버립니다(배신). 결국 지구 전체가 오염됩니다.

결론: 딜레마를 깨는 유일한 열쇠, '반복'과 '신뢰'

그렇다면 인간은 평생 이기심 때문에 서로 배신하다가 망할 수밖에 없을까요? 정치학자 로버트 액설로드가 실시한 유명한 컴퓨터 시뮬레이션에 따르면, 이 게임을 딱 1번만 하고 끝내면 무조건 배신하는 놈이 이깁니다. 하지만 이 죄수의 게임을 **100번, 200번 계속해서 '반복(Iterated)'**하게 만들면 놀라운 일이 벌어집니다.

인간은 눈앞의 이익을 위해 한 번 배신했다가 다음 게임에서 상대방에게 무자비한 '보복'을 당해 박살이 나고 나면, 장기적으로는 서로 돕고 **'협력(신뢰)'**하는 것이 가장 큰 이익(생존)이라는 사실을 깨닫게 됩니다. (대표적인 전략 팃포탯, 눈에는 눈 이에는 이) 게임 이론은 우리에게 경고합니다. 세상이 이기주의자들의 배신으로 가득 찬 지옥이 되지 않게 하려면, 일회성 사기가 통하지 않도록 우리가 서로 오랫동안 마주 보며 거래해야 하는 공동체 안에 속해 있다는 '신뢰와 법적 규제'의 울타리를 단단히 세워야 한다는 것을 말입니다.