수학 공부가 쓸모 있을까

학창 시절, 미적분과 삼각함수의 빽빽한 수식에 머리를 쥐어뜯으며 우리는 누구나 한 번쯤 이런 불만을 터뜨린다. "덧셈 뺄셈만 할 줄 알면 세상을 사는 데 아무 지장이 없는데, 도대체 이 복잡하고 괴상한 기호들을 왜 억지로 외워야 하는가?" 수학은 그저 좋은 대학에 가기 위해 학생들을 줄 세우는 지독한 고문 도구일 뿐이라고 생각한다. 하지만 당신이 매일 아침 스마트폰의 잠금을 풀고, 넷플릭스에서 영화를 고르고, 유튜브의 알고리즘에 빠져들며, 택시 앱으로 최적의 경로를 찾는 그 모든 순간 뒤에는 당신이 그토록 저주했던 '수학'이라는 거대한 투명 엔진이 미친 듯이 굉음을 내며 돌아가고 있다. 4차 산업혁명이라는 거창한 이름표 뒤에 숨어, 현대 문명의 돈과 권력을 통째로 움켜쥐고 있는 가장 치명적이고 실용적인 무기, 수학의 진짜 쓸모를 세상의 민낯 속에서 파헤쳐 보자.

당신의 취향을 조종하는 행렬(Matrix)

유튜브나 넷플릭스에 접속하면 소름 돋을 정도로 당신이 좋아할 만한 영상이 화면에 뜬다. 귀신같은 이 추천 알고리즘의 심장에는 고등학교 수학 시간에 배우고 까맣게 잊어버린 네모난 괄호 모양의 '행렬(Matrix)'이 들어 있다. 행렬은 수백만 명의 사용자와 수억 개의 영상 데이터를 바둑판처럼 촘촘한 표로 만들어 가둬두는 마법의 방이다. 컴퓨터는 이 거대한 행렬에 선형대수학(Linear Algebra)이라는 수학적 계산을 미친 듯이 퍼부어, 당신과 취향이 비슷한 사람들의 시청 패턴을 순식간에 곱하고 더한다. 복잡한 인간의 심리와 변덕스러운 취향을 오직 숫자의 곱셈으로 완벽하게 번역해 낸 것이다. 구글의 검색 엔진(페이지랭크 알고리즘) 역시 전 세계 수백억 개의 웹페이지를 거대한 하나의 행렬로 만든 뒤, 어떤 페이지가 가장 중요한지 고유벡터(Eigenvector)라는 수학적 값을 계산하여 1초 만에 1등부터 순위를 매겨버린다. 현대의 IT 공룡 기업들은 사실 코딩을 잘하는 회사가 아니라, 이 행렬 계산을 가장 빠르고 정교하게 해내는 흉악한 수학 천재들의 집단이다.

미적분, 인공지능을 훈련시키는 채찍

인공지능(AI)이 인간처럼 그림을 그리고 챗GPT가 유창하게 글을 쓰는 기적은 어떻게 일어났을까? 이 거대한 딥러닝(Deep Learning) 신경망을 똑똑하게 훈련시키는 유일한 채찍이 바로 '미분(Derivative)'이다. 인공지능이 처음 정답을 찍었을 때 엄청나게 틀린 오차가 발생하면, 수학은 그 오차 곡선의 '기울기(미분값)'를 맹렬하게 깎아 내려간다(경사 하강법, Gradient Descent). 산봉우리에서 눈을 감고 발바닥의 기울기만 느끼며 가장 낮은 골짜기(오차가 0이 되는 정답)를 향해 미친 듯이 미끄러져 내려가는 훈련법이다. 수십억 개의 가중치 변수들을 미분으로 수만 번씩 깎아내고 튜닝한 끝에, 바보 같던 AI는 완벽하게 정답을 맞히는 초지능으로 진화한다. 뉴턴이 행성의 궤도를 풀기 위해 발명했던 미적분이, 300년이 지난 지금 컴퓨터 속 인공 뇌세포의 지능을 깨우는 궁극의 조련사로 부활한 것이다.

자율주행차를 살리는 기하학과 확률

운전대 없이 스스로 차선을 바꾸고 끼어드는 자율주행 자동차는 바퀴 달린 거대한 '확률 계산기'다. 차에 달린 라이다(LiDAR) 센서가 수백만 개의 레이저를 쏘아 주변의 형태를 읽어 들이면, 자동차는 '기하학(Geometry)'을 이용해 3차원 입체 지도를 순식간에 그려낸다. 그 지도를 바탕으로, 옆 차선의 트럭이 갑자기 내 앞으로 끼어들 확률, 보행자가 튀어나올 확률을 '베이즈 정리(조건부 확률)'라는 지독한 통계 수학으로 초당 수천 번씩 계산한다. 앞차가 멈출 때 나도 완벽하게 브레이크를 밟아 부드럽게 정지하려면 거리에 따른 속도의 변화율, 즉 다시 한번 미적분학의 통제를 받아야 한다. 수학 공식 하나가 어긋나면 자동차는 곧바로 앞차를 들이받는 살인 기계가 된다.

비트코인과 암호, 소수의 철벽

우리가 인터넷 뱅킹으로 수백만 원을 송금하거나 비트코인을 거래할 때 해커들에게 돈을 털리지 않는 이유는 단 하나다. 수학자들이 그토록 집착하던 무한하고 불규칙한 '소수(Prime Number)'의 성질 때문이다. 현대 암호 체계(RSA 암호)는 엄청나게 큰 소수 두 개를 곱해서 만들어진다. 두 소수를 곱하여 거대한 숫자를 만드는 것은 컴퓨터로 1초면 되지만, 반대로 그 거대한 숫자가 도대체 어떤 두 소수의 곱으로 이루어졌는지 쪼개는 것(소인수분해)은 현재의 최고 사양 슈퍼컴퓨터로 수만 년을 돌려도 풀 수 없다. 수학의 가장 순수하고 아름다운 잉여 학문이라 불리던 정수론(소수의 성질)이, 수십조 원의 금융 거래를 완벽하게 지켜내는 가장 현실적이고 튼튼한 금고의 자물쇠가 된 것이다.