실험이 다시 되지 않을 때, 과학의 재현성 위기

재현성 위기는 학술지에 실린 연구 결과를 다른 연구자가 같은 방법으로 다시 실험했을 때 같은 결과가 나오지 않는 일이 생각보다 흔하다는 사실이 드러난 사건을 가리킨다. 2010년대에 심리학에서 대규모 재현 시도가 이어지며 본격적으로 알려졌고, 의학과 생물학, 경제학에서도 비슷한 문제가 확인되었다. 재현성은 과학이 개인의 주장을 믿을 만한 지식으로 바꾸는 핵심 장치라서, 이 문제는 과학의 신뢰와 직결된다.

왜 재현성이 그렇게 중요한가

과학적 주장이 받아들여지는 이유는 누가 말했느냐가 아니라 누가 해도 같은 결과가 나오느냐에 있다. 한 실험실의 결과를 다른 실험실이 다시 확인하고, 그래도 같은 결과가 나오면 그 주장은 조금 더 단단해진다. 재현이 되지 않는다면 처음의 결과는 우연이었거나, 실험 과정의 어떤 실수였거나, 보고되지 않은 조건에 기대고 있었을 가능성이 있다.

그런데 오랫동안 재현 실험은 인기가 없었다. 학술지는 새로운 발견을 싣고 싶어 했고, 연구자에게도 남의 결과를 다시 확인하는 일보다 새로운 결과를 내는 일이 더 큰 보상을 주었다. 그 결과 한 번 발표된 결과가 다시 검증되지 않은 채 교과서와 언론으로 퍼지는 일이 생겼다.

무엇이 결과를 부풀렸나

가장 자주 지목되는 원인은 통계를 다루는 방식이다. 많은 분야에서 결과가 의미 있는지를 판단할 때 p값이라는 기준을 쓰고, 이 값이 일정 기준보다 작으면 우연이 아니라고 본다. 문제는 연구자가 의도하지 않더라도 이 기준을 넘기 쉬운 길이 많다는 점이다.

관행	무엇이 문제인가
여러 분석을 해 보고 좋은 것만 보고	우연히 나온 결과가 진짜처럼 보인다
결과를 보며 표본을 더 모으다 멈추기	원하는 결과에서 멈추면 우연이 끼어든다
결과가 없는 연구는 발표하지 않기	성공한 연구만 쌓여 효과가 부풀려진다
작은 표본으로 실험	우연에 크게 흔들려 극단적인 결과가 나온다

이런 관행들은 하나하나는 사소해 보이지만, 쌓이면 실제로는 없거나 아주 작은 효과를 크고 확실한 효과처럼 보이게 만든다. 연구자가 부정을 저지르지 않아도 생길 수 있다는 점이 이 문제를 더 까다롭게 만든다.

재현이 안 되면 처음 연구가 틀린 것인가

반드시 그렇지는 않다. 재현 실패에는 여러 이유가 있을 수 있다. 처음 연구의 효과가 실제로 없었을 수도 있고, 효과는 있지만 생각보다 작아서 재현 실험이 이를 잡아내지 못했을 수도 있다. 실험 대상의 문화나 시대가 달라 결과가 바뀌었을 수도 있고, 논문에 적히지 않은 작은 조건이 결과를 좌우했을 수도 있다.

그래서 재현 실패 한 번으로 처음 연구를 거짓이라고 단정하기는 어렵다. 다만 여러 번의 재현 시도가 모두 실패한다면, 그 결과를 확립된 사실로 다루는 것은 신중해야 한다는 신호가 된다.

과학은 어떻게 스스로를 고치고 있나

재현성 위기는 역설적으로 과학이 스스로를 점검하는 능력을 보여 주기도 했다. 문제를 찾아낸 것도 과학자들이었고, 해결책을 내놓은 것도 과학자들이었다.

대표적인 변화는 사전 등록이다. 실험을 하기 전에 가설과 분석 방법을 미리 공개해 두는 것이다. 결과를 본 뒤에 분석 방법을 바꿀 수 없으니, 원하는 결과를 골라내는 일이 어려워진다. 일부 학술지는 결과가 나오기 전에 연구 계획만 보고 게재를 약속하는 방식을 도입했다. 그러면 결과가 없는 연구도 발표될 수 있다. 실험 자료와 분석 코드를 함께 공개해 다른 사람이 직접 확인하게 하는 관행도 넓어지고 있다.

남은 과제

제도가 바뀌어도 연구자에게 주어지는 보상 구조는 쉽게 바뀌지 않는다. 새로운 발견을 높이 평가하고 재현 연구를 낮게 보는 분위기가 남아 있는 한, 재현에 시간과 비용을 쓰려는 동기는 약할 수밖에 없다. 분야마다 재현이 어려운 정도도 다르다. 오랜 시간 수많은 환자를 추적해야 하는 의학 연구나 거대한 장비가 필요한 실험은 다시 해 보는 것 자체가 쉽지 않다. 재현성 위기가 남긴 가장 큰 교훈은, 한 편의 연구 결과를 확정된 사실처럼 받아들이기보다 여러 연구가 같은 방향을 가리킬 때까지 기다리는 태도일 것이다.