논문이 학술지에 실리기까지, 동료 심사의 원리와 한계

동료 심사는 연구자가 학술지에 보낸 논문을 같은 분야의 다른 연구자 몇 명이 먼저 읽고, 방법이 타당한지, 결론이 자료로 뒷받침되는지, 이미 알려진 내용을 되풀이한 것은 아닌지를 따져 게재 여부를 권하는 절차다. 학술지에 실렸다는 것은 적어도 전문가 몇 명이 그 논문을 검토했다는 뜻이다. 하지만 동료 심사는 결과가 참이라는 보증이 아니라 명백한 결함을 걸러 내는 첫 번째 거름망에 가깝다.

원고가 거치는 길

연구자가 원고를 학술지에 보내면 먼저 편집자가 읽는다. 편집자는 그 학술지가 다루는 주제인지, 최소한의 수준을 갖췄는지를 보고 상당수의 원고를 이 단계에서 돌려보낸다. 남은 원고는 그 분야의 연구자 두세 명에게 보내진다. 심사자는 대개 대가를 받지 않고, 자기 연구 시간을 쪼개 몇 주에 걸쳐 원고를 읽는다.

심사자는 의견서를 쓰고 게재, 수정 후 재심사, 게재 불가 가운데 하나를 권한다. 수정 요청이 오면 저자는 추가 실험을 하거나 분석을 보강해 답변서와 함께 원고를 다시 보낸다. 이 과정이 두세 번 오가는 일도 흔해서, 처음 원고를 보낸 뒤 실제로 실리기까지 몇 달에서 1년 넘게 걸리기도 한다. 최종 결정은 심사자가 아니라 편집자가 내린다.

누가 누구를 아는가

심사 방식은 학술지마다 다르다. 가장 흔한 방식은 저자는 심사자가 누구인지 모르고 심사자는 저자를 아는 단일 맹검이다. 저자의 이름이나 소속이 판단에 영향을 줄 수 있다는 걱정 때문에, 양쪽 모두 서로를 모르게 하는 이중 맹검을 쓰는 학술지도 있다. 반대로 심사자의 이름과 의견서를 논문과 함께 공개하는 공개 심사를 택한 곳도 있다. 공개하면 심사가 더 성실해진다는 주장과, 젊은 연구자가 유명한 연구자의 논문을 솔직하게 비판하기 어려워진다는 주장이 맞서 있다.

방식	저자가 심사자를 앎	심사자가 저자를 앎	노리는 효과
단일 맹검	아니요	예	심사자의 솔직한 의견
이중 맹검	아니요	아니요	이름과 소속의 영향 줄이기
공개 심사	예	예	심사의 책임과 투명성

걸러 내는 것과 놓치는 것

동료 심사는 논리의 빈틈, 빠진 대조 실험, 결론을 지나치게 부풀린 표현을 잡아내는 데 강하다. 반면 심사자가 직접 실험을 다시 해 보지는 않기 때문에, 자료 자체가 잘못되었거나 조작되었을 때는 알아채기 어렵다. 심사자는 저자가 보여 준 그림과 표를 믿고 읽을 수밖에 없다. 발표된 논문이 나중에 철회되는 일이 생기는 것은 이 때문이다. 철회는 실수가 드러나 저자가 스스로 거두는 경우도 있고, 조작이 밝혀져 학술지가 거두는 경우도 있다.

심사자 개인의 판단도 완벽하지 않다. 같은 원고를 받은 심사자들의 의견이 크게 엇갈리는 일이 흔하고, 기존 생각과 크게 다른 연구는 오히려 낮은 평가를 받기 쉽다는 지적도 있다. 훗날 중요한 발견으로 인정받은 연구가 처음에는 여러 학술지에서 거절당한 사례도 적지 않다.

심사 전에 먼저 공개하기

최근에는 동료 심사를 받기 전의 원고를 먼저 공개하는 프리프린트가 널리 쓰인다. 물리학과 수학에서는 1991년에 문을 연 공개 저장소에 원고를 올리는 일이 이미 오래된 관행이다. 생물학과 의학에서도 프리프린트가 크게 늘었는데, 결과를 빨리 나눌 수 있다는 장점과 검토되지 않은 결과가 먼저 퍼질 수 있다는 위험이 함께 있다. 프리프린트를 인용한 기사를 읽을 때는 아직 동료 심사를 거치지 않은 결과라는 점을 염두에 두어야 한다.

발표된 뒤의 검토도 중요해졌다. 논문이 실린 뒤에도 다른 연구자들이 공개된 자료를 다시 분석하고 문제를 지적하는 일이 활발해지면서, 동료 심사는 게재 전 한 번의 관문에서 발표 후까지 이어지는 과정으로 넓어지고 있다.

남은 과제

논문 수가 빠르게 늘면서 심사를 맡을 연구자를 구하기가 점점 어려워지고 있다. 대가 없이 시간을 내 주는 심사자의 선의에 기대는 구조가 언제까지 버틸 수 있을지에 대한 걱정이 크다. 인공지능 도구로 원고의 통계 오류나 표절을 먼저 걸러 내려는 시도도 있지만, 연구의 가치와 의미를 판단하는 일을 기계에 맡길 수 있는지는 아직 합의된 답이 없다. 동료 심사를 어떻게 바꾸든, 하나의 논문은 출발점이고 여러 연구로 확인될 때 비로소 지식이 된다는 원칙은 그대로다.