시험 문제만 외운 모델, 기계 학습의 과적합

과적합은 기계 학습 모델이 학습에 쓴 자료의 일반적인 규칙뿐 아니라 그 자료에만 우연히 들어 있는 잡음까지 외워 버려서, 처음 보는 자료에서는 오히려 성능이 떨어지는 현상이다. 기출문제의 답만 외운 학생이 같은 개념을 다르게 물으면 풀지 못하는 것과 같다. 그래서 모델을 평가할 때는 학습에 쓰지 않은 자료로 따로 시험을 보는 것이 원칙이다.

점 열 개를 지나는 곡선

종이에 거의 직선을 따라 흩어진 점 열 개가 있다고 하자. 이 점들의 경향을 나타내는 가장 단순한 방법은 직선 하나를 긋는 것이다. 직선은 점들을 정확히 지나지는 않지만 전체적인 기울기를 잘 보여 준다. 반면 아홉 차 다항식처럼 마음대로 구부러지는 곡선을 쓰면 열 개의 점을 모두 정확히 지나게 할 수 있다. 학습 자료에 대한 오차는 0이 된다.

문제는 그다음에 찍히는 점이다. 직선은 새 점을 대체로 비슷하게 예측하지만, 모든 점을 지나도록 억지로 구부린 곡선은 점과 점 사이에서 크게 출렁거려 엉뚱한 값을 내놓는다. 곡선이 외운 것은 점들의 경향이 아니라 측정할 때 섞인 작은 흔들림이었기 때문이다. 표현력이 큰 모델일수록 이런 흔들림까지 따라가기 쉽다.

학습 점수와 시험 점수가 벌어질 때

과적합을 알아채는 가장 확실한 방법은 자료를 나누는 것이다. 가진 자료의 일부는 학습에 쓰고, 나머지는 학습 내내 감춰 두었다가 성능을 잴 때만 꺼낸다. 학습이 진행되면 처음에는 두 점수가 함께 좋아진다. 어느 순간부터 학습 자료의 점수는 계속 오르는데 감춰 둔 자료의 점수는 멈추거나 떨어지기 시작한다. 그 지점부터 모델은 규칙이 아니라 학습 자료 자체를 외우고 있는 것이다.

상태	학습 자료 성능	새 자료 성능	뜻
과소적합	낮음	낮음	규칙을 아직 덜 배움
알맞은 적합	높음	높음	일반적인 규칙을 배움
과적합	매우 높음	낮음	자료의 잡음까지 외움

감춰 둔 자료를 여러 번 들여다보며 모델을 고치면 그 자료에도 과적합이 생긴다. 그래서 연구에서는 자료를 셋으로 나누어, 모델을 고르는 데 쓰는 검증 자료와 마지막에 한 번만 쓰는 시험 자료를 구분한다. 시험 자료를 보고 다시 모델을 손보는 순간, 그 점수는 더 이상 새 자료에 대한 성능을 말해 주지 못한다.

과적합을 줄이는 방법들

가장 효과가 큰 방법은 자료를 늘리는 것이다. 자료가 많아지면 우연한 잡음은 서로 상쇄되고 진짜 규칙만 반복해서 드러나므로, 모델이 잡음을 외우기 어려워진다. 자료를 더 모으기 어려울 때는 가진 자료를 조금씩 바꿔 늘리기도 한다. 고양이 사진을 좌우로 뒤집거나 밝기를 바꾸어도 여전히 고양이이므로, 모델은 사진의 방향이나 밝기 같은 우연한 특징 대신 고양이다운 특징에 집중하게 된다.

두 번째는 모델에 제약을 거는 것이다. 정규화라고 부르는 방법은 모델의 수치가 지나치게 커지면 벌점을 주어 곡선이 마구 구부러지지 못하게 한다. 신경망에서는 학습할 때마다 일부 연결을 무작위로 끊어 두는 드롭아웃을 쓰기도 한다. 특정 연결 몇 개에 기대어 답을 외우지 못하게 하려는 것이다. 감춰 둔 자료의 점수가 떨어지기 시작할 때 학습을 멈추는 조기 종료도 널리 쓰인다.

큰 모델이 오히려 덜 과적합하는 이유

전통적인 통계학의 설명대로라면 모델의 크기는 자료에 비해 적당해야 한다. 그런데 오늘날의 거대한 신경망은 학습 자료의 개수보다 훨씬 많은 수치를 가지고도 새 자료에서 좋은 성능을 낸다. 모델을 키워 가면 성능이 한동안 나빠졌다가 학습 자료를 완전히 외울 수 있는 크기를 넘어서면 다시 좋아지는 현상도 관찰되었는데, 이를 이중 하강이라고 부른다.

이 현상은 학습 방법 자체가 여러 답 가운데 비교적 단순한 답을 고르는 경향이 있기 때문이라는 설명이 유력하다. 학습 자료를 모두 맞히는 답은 무수히 많지만, 흔히 쓰는 학습 방식은 그중 덜 출렁이는 답으로 다가가는 성질이 있다는 것이다. 다만 이것이 어떤 조건에서 항상 성립하는지는 아직 정리되지 않았다.

남은 질문

과적합은 학습 자료와 실제로 쓰일 자료가 같은 성질을 가진다는 가정 위에서 정의된다. 그러나 현실에서는 병원마다 다른 촬영 장비, 해마다 바뀌는 말투처럼 쓰이는 환경 자체가 달라지는 일이 많다. 학습 자료에서는 규칙이었던 것이 새 환경에서는 우연이 되어 버리는 셈이다. 모델이 배운 것이 세상의 규칙인지, 특정 자료 묶음의 버릇인지를 구별하는 방법은 기계 학습이 아직 완전히 답하지 못한 질문이다.