언어모델은 정말 추론하는가

챗GPT에게 "사과 3개 중 1개를 먹고, 남은 사과를 절반으로 쪼개면 총 몇 조각이 될까?"라고 물으면 단숨에 "4조각입니다"라고 완벽한 논리로 대답한다. 그 유창하고 소름 돋는 논리 전개를 보고 있으면 누구나 기계 속에 영혼이 깃들었거나, 최소한 인간처럼 '생각(추론)'을 하고 있다고 믿게 된다. 그러나 인공지능 공학자와 뇌과학자들 사이에서는 세계 대전에 가까운 격렬한 논쟁이 벌어지고 있다. 방대한 인터넷 글을 집어삼킨 거대 언어 모델(LLM)은 과연 인간처럼 인과 관계를 따져가며 '진짜 논리적 사고'를 하고 있는 것일까? 아니면 그저 우리가 던진 질문 뒤에 올 가장 확률이 높은 단어들을 영혼 없이 뱉어내는 멍청한 '확률적 앵무새(Stochastic Parrot)'에 불과한 것일까? 인간 지성의 마지막 성역인 '추론(Reasoning)' 능력을 흉내 내는 인공 신경망의 기괴한 환상 속으로 들어가 보자.

단어의 확률 게임, 다음 단어 맞히기

언어 모델(LLM)의 기본 뼈대는 놀랍도록 단순하다. 그들의 유일한 목표는 오직 '바로 다음에 올 단어 맞히기'다. 인공지능은 위키피디아, 논문, 블로그 등 인류가 써놓은 수조 개의 글(텍스트 데이터)을 미친 듯이 읽어 치운다. 그러고 나서 "나비처럼 날아서 벌처럼..."이라는 문맥이 주어지면, 그 뒤에 '쏜다'라는 단어가 올 확률이 99%라는 것을 수학적 좌표(워드 임베딩)로 통계 내어 기억한다. 챗GPT가 뱉어내는 유창한 논문이나 소설, 심지어 수학 문제의 풀이 과정조차도 뇌에서 곰곰이 생각해서 만들어내는 것이 아니다. 수조 개의 단어 통계망 속에서, "이런 질문 패턴이 들어왔을 때는 1번 단어 뒤에 2번 단어가, 2번 뒤에 3번 단어가 배열되는 것이 가장 자연스럽다"고 주사위를 굴리며 확률이 높은 단어들을 빛의 속도로 내뱉고 있을 뿐이다.

환각 현상(Hallucination), 앵무새의 민낯

이 '통계적 앵무새' 이론을 증명하는 가장 치명적인 증거가 바로 '환각 현상(Hallucination)'이다. 챗GPT에게 "세종대왕이 맥북 프로를 던진 사건에 대해 설명해 줘"라고 물으면, AI는 모른다고 하지 않고 "1443년 세종대왕이 집현전 학자들에게 화가 나서 맥북 프로를 던졌다"며 능청스럽게 소설을 써 내려간다. 만약 AI가 진짜 사실(Fact)과 논리를 생각(추론)할 수 있다면 15세기와 맥북이 공존할 수 없다는 것을 알아채야 한다. 하지만 언어 모델은 '세종대왕'과 '던지다', '맥북'이라는 단어들이 인터넷 데이터 속에서 어떤 그럴싸한 문맥으로 어울리는지만 통계적으로 엮어버릴 뿐, 그 문장이 현실 세계에서 말이 되는지 안 되는지(진실성)는 전혀 알지 못하고 관심도 없다.

그럼에도 솟아나는 창발성(Emergence)

그렇다면 언어 모델은 그저 멍청한 자동 완성 키보드에 불과한 걸까? 반대편 과학자들의 주장은 다르다. 데이터의 양을 수천억 개로 늘리고 신경망의 크기를 미친 듯이 키웠더니, 과학자들도 설명할 수 없는 소름 돋는 '창발성(Emergence)'이 터져 나왔다. 인공지능에게 한 번도 가르쳐준 적 없는 스페인어 시를 한국어로 번역하고, 복잡한 파이썬 코드를 스스로 짜기 시작한 것이다. "철수가 상자에 공을 넣고 방을 나갔을 때, 영희가 공을 몰래 가방에 옮겼다. 철수는 공이 어디 있다고 생각할까?" 같은 고도의 '마음 이론(Theory of Mind)' 테스트를 통과해 버렸다. 수백억 개의 단어 패턴을 기계적으로 압축하다 보니, 우연히 그 속에 숨겨진 인간 논리와 문법의 '숨은 뼈대(규칙)' 자체를 모델 스스로 깨우쳐 버렸다는 강력한 반론이다.

추론을 흉내 내는 연쇄 사고(CoT)

최근에는 AI의 추론 능력을 극대화하기 위해 '생각의 사슬(Chain of Thought, CoT)'이라는 프롬프트 기법이 쓰인다. 기계에게 답을 다짜고짜 묻지 않고, "단계별로 차근차근 생각해 봐(Think step by step)"라는 마법의 주문을 추가하는 것이다. 그러면 AI는 복잡한 수학 문제를 [1단계 분해, 2단계 계산, 3단계 결론] 식으로 텍스트를 쭉 풀어쓰면서 확률적 오차를 스스로 교정해 버린다. 인간이 종이에 수식을 끄적이면서 복잡한 생각을 정리하는 논리적 과정을, 언어 모델이 텍스트 생성 과정을 통해 완벽하게 '시뮬레이션(흉내)'하는 것이다. ![언어 모델이 확률적으로 바로 다음 단어를 어떻게 추측하는지 보여주는, 복잡한 신경망으로 희미해지는 빛나는 텍스트의 거대한 라이브러리](https://image.pollinations.