러셀의 역설 수학체계에 생긴 균열

수학은 인류가 쌓아 올린 지식의 전당 중에서 가장 견고하고 흔들림 없는 학문으로 여겨진다. 하나의 정리가 증명되면 그것은 우주의 끝에 가서도 변하지 않는 절대적인 진리가 되기 때문이다. 19세기 말, 칸토어(Cantor)가 창시한 집합론(Set Theory)은 이러한 수학의 근간을 더욱 단단하게 다져주는 듯했다. 수학자들은 모든 수학적 개념과 숫자를 집합이라는 언어로 정의하고 설명할 수 있다고 굳게 믿었다. 독일의 위대한 수학자 고틀로프 프레게는 이 집합론을 바탕으로 수학 전체를 완전무결한 논리학의 토대 위에 세우는 거대한 프로젝트를 거의 완성해가고 있었다. 그러나 1901년, 영국의 젊은 철학자이자 논리학자인 버트런드 러셀이 던진 짧은 질문 하나가 이 거대한 지식의 성탑에 치명적인 균열을 내고 말았다. 완벽하다고 믿었던 집합론 내부에 스스로 모순을 일으키는 시한폭탄이 숨겨져 있었던 것이다. 이른바 '러셀의 역설(Russell's Paradox)'로 불리는 이 논리적 함정은 당시 수학계를 엄청난 충격과 혼란에 빠뜨렸다. 수학의 절대적인 진리성이 뿌리째 흔들린 이 사건은 20세기 지성사에 가장 극적인 순간 중 하나로 기록되어 있다.

프레게의 좌절과 이발사 역설

러셀이 프레게에게 보낸 편지에는 매우 단순하지만 파괴적인 논리가 담겨 있었다. 러셀은 당시 자유롭게 정의될 수 있었던 칸토어의 집합 개념을 이용하여, '자기 자신을 원소로 포함하지 않는 모든 집합들의 집합'을 정의해 보라고 제안했다. 이 집합을 R이라고 부르자. 이제 질문을 던진다. "R은 자기 자신(R)의 원소인가?" 만약 R이 자신의 원소라고 가정하면, R은 '자기 자신을 포함하지 않는 집합'만 모아둔 것이므로 자신의 원소가 되어서는 안 된다는 조건에 위배된다. 반대로 R이 자신의 원소가 아니라고 가정하면, 조건을 만족시키므로 R은 자신의 원소로 포함되어야만 한다. 이러지도 저러지도 못하는 완벽한 자기 모순에 빠진 것이다. 이 역설을 대중이 이해하기 쉽게 각색한 것이 그 유명한 '이발사의 역설'이다. 어느 마을에 "스스로 면도를 하지 않는 모든 사람만 면도해 주는" 이발사가 있다. 이 이발사는 자신의 수염을 직접 면도해야 할까? 스스로 면도를 한다면 그는 자신의 고객이 될 수 없으므로 면도를 해서는 안 되고, 스스로 면도를 하지 않는다면 규칙에 따라 자신이 자신의 면도를 해 주어야 한다. 프레게는 평생을 바친 수학의 기초 저술 출판을 앞두고 이 편지를 받았고, 자신의 이론체계가 무너졌음을 뼈저리게 인정해야만 했다.

칸토어 집합론의 허점

러셀의 역설이 발생한 근본적인 원인은 초기 칸토어의 소박한 집합론(Naive Set Theory)이 가진 지나친 자유로움 때문이었다. 초기 집합론에서는 '조건만 주어지면 그 조건을 만족하는 대상들을 모아 무조건 집합을 만들 수 있다'고 암묵적으로 가정했다. 이것을 포괄 원리(Comprehension Principle)라고 한다. 러셀의 역설은 이 무제한적인 포괄 원리가 얼마나 위험한지 명백하게 보여주었다. 어떤 성질이 주어졌을 때 그것을 맹목적으로 집합으로 묶어버리면, 논리적으로 너무 커서 감당할 수 없는 괴물 같은 집합이 만들어져 시스템 전체를 파괴할 수 있다는 뜻이다. 수학자들은 발등에 불이 떨어졌다. 만약 모순이 존재하는 체계를 그대로 둔다면, 그 위에서 증명된 어떤 수학적 정리도 참인지 거짓인지 신뢰할 수 없게 되기 때문이다. 1+1=2라는 사실조차 집합론을 통해 증명해야 했던 수학자들에게 논리적 모순은 곧 수학의 사망 선고나 다름없었다. 무너져가는 건물을 떠받치고 갈라진 틈을 메우기 위해 당대의 가장 뛰어난 천재들이 수학의 기초를 다시 세우는 공사에 긴급 투입되었다.

공리적 집합론과 유형 이론의 등장

러셀 자신도 자신이 낸 균열을 수습하기 위해 알프레드 화이트헤드와 함께 기념비적인 저서인 '수학 원리(Principia Mathematica)'를 집필했다. 여기서 러셀은 '유형 이론(Theory of Types)'을 제안했다. 대상, 대상들의 집합, 집합들의 집합 등 개념들에 엄격한 계급(Type)을 부여하고, 하위 계급이 상위 계급에 속하는 것은 가능하지만 자기 자신이나 상위 계급을 포함하는 것은 문법적으로 금지하는 방식이었다. 계급을 나누어 역설이 발생하는 고리를 원천 차단한 것이다. 한편, 에른스트 체르멜로와 아브라함 프렝켈은 또 다른 방식인 '공리적 집합론(ZFC Axiomatic Set Theory)'을 구축했다. 이들은 집합을 자유롭게 만드는 것을 금지하고, 몇 가지 엄격하게 검증된 규칙(공리) 안에서만 집합을 생성하고 다룰 수 있도록 촘촘한 법망을 만들었다. 예를 들어 '분류 공리'를 도입하여 이미 존재하는 안전한 집합 안에서만 특정한 조건을 만족하는 부분집합을 골라낼 수 있도록 제한했다. 이렇게 함으로써 러셀이 제안한 무한히 팽창하는 위험한 집합은 아예 생성조차 되지 못하게 막아버렸다. 오늘날 현대 수학은 대부분 이 체르멜로-프렝켈 공리계를 표준적인 토대로 채택하여 안전하게 그 위에서 전개되고 있다.