같은 실험이 다시 되지 않을 때, 과학의 재현성 위기

재현성 위기는 학술지에 실려 널리 인용되던 연구 결과를 다른 연구진이 같은 방법으로 다시 실험했을 때 같은 결과가 나오지 않는 경우가 생각보다 많다는 사실이 드러난 일을 가리킨다. 2010년대 들어 심리학에서 시작된 대규모 재현 시도는 의학, 생물학, 경제학으로 이어졌고, 여러 분야에서 원래 연구만큼 뚜렷한 효과가 다시 확인된 경우가 절반에 못 미치는 일이 잇따랐다. 이것은 과학이 무너졌다는 뜻이 아니라, 과학이 스스로의 약점을 찾아낸 과정에 가깝다.

재현은 과학의 기본 약속이다

과학의 주장이 믿을 만한 것은 누구든 같은 조건에서 같은 실험을 하면 같은 결과를 얻을 수 있기 때문이다. 한 연구실의 결과는 아직 한 번의 관찰일 뿐이고, 다른 곳에서 다시 확인되어야 지식으로 자리 잡는다. 그런데 실제로는 이미 발표된 실험을 그대로 다시 하는 연구는 새로운 발견이 아니라는 이유로 학술지에 실리기 어려웠다. 그 결과 많은 연구 결과가 한 번도 다시 확인되지 않은 채 교과서와 뉴스에 실렸다.

우연이 발견처럼 보이는 이유

재현이 실패하는 가장 큰 이유 가운데 하나는 통계를 쓰는 방식에 있다. 많은 분야에서는 실험 결과가 우연히 나올 확률을 계산해 그것이 5퍼센트보다 작으면 의미 있는 결과로 본다. 이 기준은 실제로 효과가 없을 때도 스무 번에 한 번쯤은 우연히 통과할 수 있다는 뜻이다. 연구자가 여러 방식으로 자료를 분석해 보고 그중 기준을 넘는 결과만 고르면, 효과가 없어도 효과가 있는 것처럼 보이는 결과를 얻기 쉽다. 이런 관행을 흔히 p 해킹이라고 부른다.

출판 관행도 문제를 키웠다. 효과가 있다는 결과는 학술지에 잘 실리지만 효과가 없다는 결과는 서랍 속에 남는 경향이 있다. 같은 질문을 스무 곳에서 연구했는데 한 곳에서만 우연히 효과가 나왔다면, 발표되는 것은 그 한 편뿐일 수 있다. 바깥에서 보면 효과가 확인된 것처럼 보이지만 실제로는 실패한 열아홉 번이 가려진 것이다.

작은 표본과 큰 효과

참가자 수가 적은 연구도 문제다. 표본이 작으면 결과가 크게 출렁이기 때문에, 우연히 큰 효과가 나온 연구만 기준을 넘게 된다. 그래서 작은 연구에서 보고된 효과는 실제보다 부풀려져 있는 경우가 많고, 더 큰 규모로 다시 하면 효과가 줄어들거나 사라진다. 실험 조건의 미묘한 차이도 영향을 준다. 세포를 키우는 배양액의 종류, 실험동물을 기르는 환경, 질문지를 번역한 표현 같은 세부 사항이 논문에 다 적히지 않아 다른 연구실에서 똑같이 따라 하기 어려운 경우가 많다.

원인	일어나는 일	처방
분석 방법 골라 쓰기	우연한 결과가 발견처럼 보임	분석 계획 미리 등록
효과 없는 결과 미발표	성공한 연구만 눈에 띔	결과와 상관없이 게재 약속
작은 표본	효과가 부풀려짐	표본 크기 미리 계산, 공동 연구
방법 기술 부족	따라 하기 어려움	자료와 실험 절차 공개

과학계가 내놓은 처방

가장 널리 퍼진 처방은 사전 등록이다. 연구자는 자료를 모으기 전에 무엇을 측정하고 어떻게 분석할지를 미리 공개된 곳에 등록하고, 나중에 그 계획대로 분석한다. 분석 방법을 결과를 본 뒤에 고를 수 없으니 우연을 발견으로 착각할 여지가 줄어든다. 일부 학술지는 결과가 나오기 전에 연구 계획만 보고 게재를 약속하는 방식을 도입했다. 이렇게 하면 효과가 없다는 결과도 똑같이 발표된다.

자료와 분석 코드를 공개하는 일도 늘었다. 다른 연구자가 원래 자료로 같은 계산을 다시 해 볼 수 있으면 실수나 과장이 일찍 드러난다. 여러 나라의 연구실이 같은 실험을 동시에 진행해 결과를 합치는 대규모 공동 재현 연구도 자리를 잡았다.

남은 질문

재현이 실패했다고 해서 원래 연구가 반드시 틀렸다는 뜻은 아니다. 효과가 실제로 있지만 생각보다 작을 수도 있고, 특정 조건에서만 나타나는 효과일 수도 있다. 어느 정도 비슷하게 나와야 재현에 성공했다고 볼지에 대한 기준도 분야마다 다르다. 연구자의 성과를 논문 편수와 화제성으로 평가하는 제도가 바뀌지 않는 한 같은 문제가 되풀이될 것이라는 지적도 있다. 과학의 신뢰는 한 편의 놀라운 결과가 아니라 여러 번의 확인에서 나온다는 원칙을, 연구 제도가 얼마나 뒷받침할 수 있을지는 아직 진행 중인 과제다.