당신은 감옥에서 탈출할 수 있으시겠습니까

우리는 매일 수많은 선택의 갈림길에 선다. 그 선택은 온전히 나의 이익을 위한 것이지만, 타인의 선택과 얽히면서 예상치 못한 결과를 낳곤 한다. 이러한 의사결정의 상호작용을 수학적으로 분석하는 학문이 바로 게임 이론이다. 게임 이론은 경제학뿐만 아니라 정치학, 진화생물학, 컴퓨터 과학에 이르기까지 폭넓게 응용되며 인간 사회의 복잡한 현상을 설명하는 강력한 도구로 자리 잡았다. 그중에서도 가장 유명하고 널리 알려진 사고 실험이 있다. 두 명의 용의자가 각각 분리된 심문실에 갇혀 취조를 받는 상황을 가정한 이 모델은, 인간의 합리성과 이기심이 어떻게 충돌하는지를 극명하게 보여준다. 우리는 이를 통해 개인이 자신의 이익을 극대화하기 위해 내린 최선의 선택이 왜 전체의 이익을 파괴하는 방향으로 흘러가는지 수학적으로 이해할 수 있다.

딜레마의 구조

가장 고전적인 형태의 사고 실험은 다음과 같은 규칙을 갖는다. 공범인 두 용의자 A와 B가 체포되어 서로 소통할 수 없는 독방에 수감된다. 검사는 두 사람에게 동일한 제안을 한다. 만약 둘 다 범행을 자백하지 않고 침묵을 지킨다면, 증거 불충분으로 둘 다 1년의 가벼운 형만 살게 된다. 반면, 한 명은 자백하고 다른 한 명은 침묵한다면, 자백한 사람은 즉시 석방되고 침묵한 사람은 10년이라는 무거운 징역을 살아야 한다. 만약 두 사람 모두 자백한다면, 둘 다 5년의 형을 선고받는다. 여기서 핵심은 두 용의자가 서로 어떤 선택을 할지 전혀 알 수 없다는 점이다. 수학적으로 이 상황을 분석해보면 개인이 취할 수 있는 전략의 우위가 명확해진다. A의 입장에서 생각해보자. B가 침묵할 경우, A는 침묵(1년)보다 자백(석방)이 유리하다. B가 자백할 경우에도 A는 침묵(10년)보다 자백(5년)이 유리하다. 즉, 상대방의 선택과 무관하게 항상 자백을 선택하는 것이 최선의 결과, 즉 '우월 전략'이 된다.

내시 균형의 함정

결과적으로 두 용의자는 합리적인 계산 끝에 모두 자백을 선택하게 된다. 두 사람 모두 자백하여 각각 5년형을 받는 이 상태를 게임 이론에서는 '내시 균형'이라고 부른다. 내시 균형이란 모든 참가자가 상대방의 전략을 주어진 것으로 간주할 때, 자신의 전략을 바꾸어도 더 이상의 이익을 얻을 수 없는 안정적인 상태를 말한다. 존 내시가 증명한 이 개념은 현대 경제학의 근간을 이루고 있다. 그러나 이 내시 균형에는 치명적인 모순이 숨어 있다. 두 사람이 처음부터 서로를 믿고 끝까지 침묵을 지켰다면 각각 1년형으로 끝날 수 있었음에도 불구하고, 합리적인 의사결정 과정을 거친 결과 둘 다 5년형이라는 훨씬 더 나쁜 결과를 맞이하게 된 것이다. 이는 개인의 이기적이고 합리적인 선택이 집단 전체의 관점에서는 전혀 합리적이지 않은 비효율적인 상태를 낳는다는 것을 수학적으로 증명한 사례이다.

반복되는 상호작용의 힘

단 한 번의 선택으로 끝나는 게임에서는 배신이 항상 유리하지만, 현실의 상호작용은 대부분 여러 번 반복된다. 게임이 무한히 반복되거나 언제 끝날지 알 수 없는 상황에서는 완전히 다른 전략이 나타난다. 정치학자 로버트 액설로드는 컴퓨터 시뮬레이션을 통해 반복되는 게임에서 어떤 전략이 가장 우수한지 실험했다. 그 결과, 가장 성공적인 전략은 놀랍게도 매우 단순한 형태였다. 처음에는 무조건 협력하고, 다음번부터는 상대방이 직전에 했던 행동을 그대로 따라 하는 전략이다. 이 전략은 상대방의 배신에는 즉각적으로 보복하여 손해를 막고, 상대방이 다시 협력하면 즉시 용서하여 상호 이익을 도모한다. 수학적 시뮬레이션은 장기적인 관점에서는 서로 협력 체계를 구축하는 것이 이기적인 배신보다 훨씬 더 큰 이익을 가져다준다는 것을 보여주었다.

남은 과제

그러나 현실 세계는 이러한 단순한 수학적 모델보다 훨씬 복잡하다. 참가자의 수가 두 명이 아니라 수백만 명이라면 무임승차의 문제가 발생하여 협력을 유지하기가 극도로 어려워진다. 기후 변화 협약이나 국제 무역 분쟁과 같은 다자간의 상호작용에서는 여전히 명확한 해답을 찾기 어렵다. 또한 인간은 항상 완벽하게 합리적인 계산만으로 행동하지 않는다. 감정, 도덕성, 사회적 규범 등 비합리적인 요소들이 의사결정에 개입하기 때문이다. 수학적 모델을 현실 세계의 복잡한 변수들과 어떻게 결합하여 더 정교한 예측 시스템을 만들어낼 것인가는 게임 이론 학자들에게 여전히 풀리지 않은 과제로 남아 있다.