무한에도 크기가 있다, 칸토어의 대각선 논법

무한에도 크기의 차이가 있다. 19세기 독일의 수학자 게오르크 칸토어는 두 무한집합의 원소를 하나씩 빠짐없이 짝지을 수 있으면 크기가 같다고 정의했다. 이 기준으로 보면 자연수와 짝수, 자연수와 분수는 크기가 같다. 그러나 실수는 어떤 방법으로도 자연수와 짝을 다 지을 수 없어서, 자연수보다 큰 무한이다. 이를 보인 방법이 대각선 논법이다.

세지 않고 크기를 비교하는 법

강당에 의자와 사람이 몇 명인지 세지 않아도 둘 중 어느 쪽이 많은지 알 수 있다. 모두에게 의자 하나씩 앉으라고 하면 된다. 빈 의자가 남지도 않고 서 있는 사람도 없으면 둘의 수는 같다. 칸토어는 이 생각을 무한집합에 그대로 적용했다. 두 집합의 원소를 하나도 남기지 않고 일대일로 짝지을 수 있으면 두 집합의 크기, 곧 농도가 같다고 본다.

이 기준은 처음 들으면 이상한 결과를 낳는다. 자연수 1, 2, 3, 4…와 짝수 2, 4, 6, 8…은 n과 2n을 짝지으면 남는 것 없이 대응한다. 짝수는 자연수의 일부인데도 크기가 같다. 부분이 전체와 크기가 같을 수 있다는 것이 무한집합의 특징이다.

분수도 줄을 세울 수 있다

분수는 자연수보다 훨씬 많아 보인다. 0과 1 사이에만 해도 분수가 끝없이 있기 때문이다. 그런데 분수도 한 줄로 세울 수 있다. 분자와 분모를 가로세로로 놓은 표를 만들고, 분자와 분모의 합이 2인 것, 3인 것, 4인 것 순서로 비스듬히 훑어 나가면 모든 분수가 언젠가 한 번씩 차례에 나온다. 줄을 세울 수 있다는 것은 자연수와 짝을 지을 수 있다는 뜻이다. 이렇게 자연수와 크기가 같은 무한을 셀 수 있는 무한이라고 부른다.

줄 세우기에 반드시 빠지는 수

실수는 사정이 다르다. 칸토어는 1891년 발표한 논증에서, 0과 1 사이의 실수를 한 줄로 세웠다고 가정하면 모순이 생긴다는 것을 보였다. 줄의 첫 번째 수, 두 번째 수, 세 번째 수를 무한소수로 적어 위아래로 늘어놓는다. 이제 새로운 수를 하나 만든다. 첫째 자리는 첫 번째 수의 첫째 자리와 다른 숫자로, 둘째 자리는 두 번째 수의 둘째 자리와 다른 숫자로 고른다. 이렇게 표의 대각선을 따라 숫자를 하나씩 바꿔 나간다.

이렇게 만든 수는 첫 번째 수와 첫째 자리가 다르고, 두 번째 수와 둘째 자리가 다르며, n번째 수와 n번째 자리가 다르다. 따라서 줄에 있는 어떤 수와도 같지 않다. 모든 실수를 줄 세웠다고 했는데 줄에 없는 실수가 생긴 것이다. 그러므로 실수 전체를 자연수와 짝짓는 일은 불가능하다. 0.0999…와 0.1000…처럼 표기가 두 가지인 수가 끼어드는 것을 막으려고, 바꿀 숫자로 0과 9를 쓰지 않는 등의 세부 조건을 붙이면 논증은 빈틈없이 성립한다.

무한 위에 또 무한

대각선 논법은 실수에서 멈추지 않는다. 어떤 집합이든 그 집합의 부분집합을 모두 모은 집합은 원래 집합보다 항상 크다. 이를 칸토어의 정리라고 한다. 자연수의 부분집합을 모은 집합은 자연수보다 크고, 그것의 부분집합을 모은 집합은 또 더 크다. 가장 큰 무한은 존재하지 않는다.

이 결과는 당시 많은 수학자에게 거부감을 주었다. 무한을 하나의 완성된 대상으로 다루는 것 자체를 받아들이지 않는 수학자도 있었다. 그러나 다비트 힐베르트는 칸토어가 만든 세계를 두고 "누구도 우리를 그 낙원에서 쫓아낼 수 없다"고 말했고, 집합론은 이후 현대 수학의 바탕이 되었다. 대각선 논법의 생각은 뒤에 컴퓨터가 풀 수 없는 문제가 있다는 증명에도 그대로 쓰였다.

대각선 논법이 보여 주는 또 하나의 사실은 셀 수 있는 수가 실수 가운데 아주 드물다는 점이다. 분수처럼 정해진 방법으로 적을 수 있는 수는 모두 모아도 셀 수 있는 무한에 그친다. 그러니 수직선 위에서 아무 점이나 하나 고르면, 그 점이 분수일 가능성은 0이다. 우리가 이름을 붙이고 계산하는 수는 실수라는 바다에 떠 있는 작은 섬들인 셈이다.

풀리지 않는 질문 하나

자연수보다 크고 실수보다 작은 무한이 있을까. 칸토어는 그런 무한이 없다고 믿었고 이를 연속체 가설이라고 불렀지만 끝내 증명하지 못했다. 20세기에 쿠르트 괴델과 폴 코언의 연구로, 이 가설은 지금 수학이 받아들이는 기본 공리만으로는 참이라고도 거짓이라고도 증명할 수 없다는 사실이 밝혀졌다. 새로운 공리를 더해 이 질문에 답해야 하는지, 답이 없는 질문으로 남겨 두어야 하는지를 두고 수학자들의 생각은 아직 갈려 있다.