도청자를 잡아낼 수 있는 암호
양자역학의 불확정성 원리를 이용하여 도청자의 존재를 즉각적으로 알아내는 양자 암호 통신의 원리와 한계를 살펴본다.
편집부 · 2025년 8월 19일 · 읽는 데 4분
디지털 시대에 접어들면서 정보의 안전한 전달은 개인의 사생활 보호를 넘어 국가 안보와 직결되는 가장 중요한 과제가 되었다. 우리가 흔히 사용하는 인터넷 뱅킹, 이메일, 메신저 등은 모두 수학적 복잡성에 기반한 암호화 기술로 보호받고 있다. 대표적인 RSA 암호는 소인수분해의 어려움을 이용한다. 아주 큰 숫자를 두 소수의 곱으로 나타내는 것은 현재의 컴퓨터로는 수백 년이 걸릴 만큼 어려운 문제이기 때문이다. 하지만 컴퓨팅 기술이 기하급수적으로 발전하고, 특히 양자 컴퓨터의 등장이 현실화되면서 이러한 수학적 암호 체계는 근본적인 위협에 직면하게 되었다. 양자 컴퓨터는 매우 짧은 시간 안에 거대한 숫자를 소인수분해할 수 있기 때문이다. 이에 대응하여 과학자들은 수학적 복잡성이 아닌 자연의 근본 법칙에 기반한 새로운 암호 체계를 고안해 냈다. 바로 양자 암호 통신이다. 양자 암호는 물리학의 법칙, 특히 양자역학의 원리를 이용하여 정보의 기밀성을 완벽하게 보장한다. 가장 놀라운 점은 누군가 엿보려고 하는 순간 그 사실이 즉각 드러난다는 것이다. 수학이 아닌 물리학으로 비밀을 지키는 시대가 시작되었다.
수학적 암호의 한계와 양자 암호
전통적인 암호 체계는 앨리스가 밥에게 비밀 메시지를 보낼 때, 제3자인 이브가 그 메시지를 가로채더라도 암호 해독 키가 없으면 내용을 읽을 수 없도록 만드는 데 중점을 둔다. 그러나 이브가 엄청난 연산 능력을 가진 컴퓨터를 보유하고 있다면, 암호 해독 키를 강제로 계산해 낼 가능성이 항상 존재한다. 결국 기존 암호의 안전성은 '해독하는 데 걸리는 시간'에 의존할 뿐, 절대적인 안전을 보장하지는 않는다. 만약 이브가 충분한 시간을 들여 메시지를 복호화하거나 미래에 강력한 양자 컴퓨터를 이용한다면 모든 비밀은 폭로될 수밖에 없다. 이러한 수학적 암호의 근본적인 취약점을 극복하기 위해 등장한 것이 양자 암호 통신이다. 양자 암호 통신은 정보를 빛의 최소 단위인 광자에 실어 보낸다. 양자역학의 세계에서는 입자의 상태를 측정하는 행위 자체가 입자의 상태를 변화시키는 교란을 일으킨다. 이를 하이젠베르크의 불확정성 원리라고 한다. 양자 암호는 바로 이 원리를 역이용하여 보안을 유지한다. 만약 이브가 중간에 광자를 가로채어 그 상태를 측정한다면, 광자의 상태는 원래와 다르게 변질된다. 앨리스와 밥은 도착한 광자의 상태를 비교함으로써 이를 확인한다.
BB84 프로토콜의 원리
양자 암호 통신을 구현하는 가장 대표적인 방법은 1984년 찰스 베넷과 질 브라사드가 제안한 BB84 프로토콜이다. 이 프로토콜에서 앨리스는 정보를 0과 1로 인코딩하기 위해 광자의 편광 방향을 이용한다. 앨리스는 수직-수평 편광 필터(십자 필터)와 대각선 편광 필터(X자 필터) 중 하나를 무작위로 선택하여 광자를 전송한다. 수신자인 밥 역시 도착한 광자를 측정하기 위해 두 종류의 필터 중 하나를 무작위로 선택한다. 밥이 앨리스와 같은 종류의 필터를 우연히 선택했다면 광자의 정보를 정확하게 읽어낼 수 있지만, 다른 종류의 필터를 선택했다면 정보는 무작위로 측정된다. 모든 광자의 전송이 끝난 후, 앨리스와 밥은 일반적인 통신 채널을 통해 서로 어떤 필터를 사용했는지만을 비교한다. 광자에 담긴 0과 1의 실제 정보는 공유하지 않고 필터의 종류만 확인하는 것이다. 두 사람이 우연히 같은 필터를 사용한 광자들의 정보만 남기고 나머지는 모두 버린다. 이렇게 걸러진 정보의 나열을 '양자 키(Quantum Key)'라고 부른다. 만약 도청자가 개입했다면 오류율이 급증하여 도청 사실이 드러나게 된다.
양자 얽힘을 이용한 진보된 방식
BB84 프로토콜 이후 양자 얽힘 현상을 이용한 더 발전된 형태의 양자 암호 통신도 등장했다. 아르투르 에케르트가 제안한 E91 프로토콜이 대표적이다. 이 방식에서는 얽혀 있는 한 쌍의 광자를 생성하여 하나는 앨리스에게, 다른 하나는 밥에게 보낸다. 얽힌 입자들은 아무리 멀리 떨어져 있어도 서로의 상태에 즉각적으로 영향을 미치는 완벽한 상관관계를 가진다. 앨리스와 밥이 각각 자신의 광자를 측정하여 얻은 결과를 바탕으로 비밀 키를 생성한다. 만약 도청자 이브가 중간에 광자 중 하나를 가로채어 측정한다면 얽힘 상태는 즉시 깨져 버린다. 얽힘이 깨지면 앨리스와 밥의 측정 결과 사이에 나타나야 할 특정한 상관관계(벨 부등식 위배)가 사라지게 된다. 통신 당사자들은 통신 후 측정 결과의 상관관계를 통계적으로 분석하여 얽힘이 유지되었는지 확인함으로써 도청 여부를 확신할 수 있다. 얽힘 기반 방식은 광자를 생성하고 전송하는 장치 자체를 완전히 신뢰할 수 없는 상황에서도 높은 수준의 보안을 유지할 수 있다는 장점이 있다. 이는 양자 통신의 안전성을 한 차원 끌어올린 획기적인 아이디어로 평가받는다.
물리적 한계와 극복을 위한 노력
양자 암호 통신은 이론적으로 완벽한 보안을 자랑하지만, 현실 세계에 적용하기 위해서는 극복해야 할 물리적 장벽들이 존재한다. 가장 큰 문제는 광자가 광섬유를 통과하면서 흩어지거나 흡수되어 신호가 약해진다는 점이다.
이어서 읽기