재현성

재현성은 반복가능성 및 반복성과 밀접하게 관련된 개념으로, 과학적 방법을 뒷받침하는 주요 원칙이다. 연구 결과의 재현성이란 실험이나 관찰 연구, 또는 데이터 세트의 통계 분석을 통해 얻은 결과가 해당 연구를 반복했을 때 높은 신뢰도로 다시 달성되어야 함을 의미한다. 반복에는 여러 종류가 있지만[^3] 일반적으로 반복 연구는 다른 연구자들이 동일한 방법론을 사용하여 수행한다. 하나 또는 여러 차례의 성공적인 반복이 이루어진 후에야 비로소 해당 결과가 과학적 지식으로 인정되어야 한다.

역사

과학에서 재현성의 중요성을 최초로 강조한 인물은 17세기 잉글랜드에서 활동한 아일랜드계 영국인 화학자 로버트 보일이었다. 보일의 공기 펌프는 진공을 생성하고 연구하기 위해 설계되었는데, 당시 진공은 매우 논쟁적인 개념이었다. 실제로 르네 데카르트와 토머스 홉스 같은 저명한 철학자들은 진공의 존재 가능성 자체를 부정하였다. 과학사학자 스티븐 셰이핀과 사이먼 섀퍼는 1985년 저서 리바이어던과 공기 펌프에서 보일과 홉스 사이의 논쟁을 기술하였는데, 이 논쟁은 표면적으로는 진공의 본질에 관한 것이었으나 근본적으로는 유용한 지식을 어떻게 획득해야 하는가에 대한 논쟁이었다고 설명한다. 실험적 방법의 선구자였던 보일은 지식의 토대가 실험적으로 생산된 사실들로 구성되어야 하며, 이러한 사실들은 재현성을 통해 과학 공동체에 신뢰를 얻을 수 있다고 주장하였다. 보일은 동일한 실험을 반복해서 수행함으로써 사실의 확실성이 드러날 것이라고 주장하였다.

17세기에 제작이 복잡하고 비용이 많이 드는 장치였던 공기 펌프는 특정 과학적 현상의 재현성을 둘러싼 최초의 기록된 논쟁 중 하나를 야기하기도 하였다. 1660년대에 네덜란드 과학자 크리스티안 하위헌스는 암스테르담에서 자신만의 공기 펌프를 제작하였는데, 이는 보일과 당시 그의 조수였던 로버트 훅의 직접적인 관리 밖에서 만들어진 최초의 공기 펌프였다. 하위헌스는 자신의 공기 펌프 내부의 유리병 안에서 물이 공중에 떠 있는 것처럼 보이는 현상(실제로는 공기 방울 위에 매달려 있는 것)을 관찰하고 이를 "비정상적 부유"라고 명명하여 보고하였으나, 보일과 훅은 자신들의 펌프에서 이 현상을 재현할 수 없었다. 셰이핀과 섀퍼가 기술한 바에 따르면, "사용 가능한 두 대의 펌프 중 하나로 잉글랜드에서 이 현상을 재현할 수 없는 한, 잉글랜드의 누구도 하위헌스가 주장한 바나 펌프를 다루는 그의 능력을 인정하지 않을 것임이 분명해졌다." 하위헌스는 마침내 1663년에 잉글랜드에 초청되었고, 그의 직접적인 지도 아래 훅은 물의 비정상적 부유 현상을 재현하는 데 성공하였다. 이후 하위헌스는 왕립학회의 외국인 회원으로 선출되었다. 그러나 셰이핀과 섀퍼는 또한 "재현의 달성은 우연적인 판단 행위에 의존하였다. 재현이 달성되었는지 아닌지를 판별하는 공식을 기술할 수는 없다"라고 지적하였다.[^4]

과학철학자 칼 포퍼는 1934년 그의 유명한 저서 과학적 발견의 논리에서 "재현 불가능한 단일 사건은 과학에 아무런 의미가 없다"라고 간략히 언급하였다.[^5] 통계학자 로널드 피셔는 현대 과학의 가설 검정 및 통계적 유의성 실천의 토대를 마련한 1935년 저서 실험 계획법에서 "통계적으로 유의미한 결과를 거의 실패 없이 산출하는 실험을 수행하는 방법을 알고 있을 때, 우리는 그 현상이 실험적으로 입증 가능하다고 말할 수 있다"라고 기술하였다.[^6] 이러한 주장들은 재현성이 과학적 사실을 확립하기 위한, 그리고 실질적으로는 모든 지식 분야에서 과학적 권위를 확립하기 위한 필요조건(충분조건은 아닐지라도)이라는 현대 과학의 일반적 신조를 표현한다. 그러나 앞서 셰이핀과 섀퍼가 지적한 바와 같이, 이 신조는 예컨대 통계적 유의성처럼 정량적으로 명확하게 정식화되어 있지 않으며, 따라서 어떤 사실이 재현 가능한 것으로 인정되려면 몇 번이나 재현되어야 하는지가 명시적으로 확립되어 있지 않다.

용어

*재현가능성(replicability)*과 *반복가능성(repeatability)*은 재현성(reproducibility)과 넓은 의미에서 또는 느슨하게 동의어로 사용되는 관련 용어이지만(예를 들어, 일반 대중 사이에서), 다음과 같이 보다 정확한 의미로 유용하게 구분되는 경우가 많다.

실험적 또는 관찰적 연구의 재현성과 관련하여 두 가지 주요 단계가 자연스럽게 구분된다: 재현성을 달성하기 위해 새로운 데이터를 얻는 경우, *재현가능성(replicability)*이라는 용어가 자주 사용되며, 새로운 연구는 원래 연구의 복제(replication) 또는 *복제물(replicate)*이라 한다. 원래 연구의 데이터 세트를 동일한 절차로 다시 분석하여 같은 결과를 얻는 것에 대해, 많은 저자들은 전산 연구에서 유래한 좁고 기술적인 의미로 *재현성(reproducibility)*이라는 용어를 사용한다. *반복가능성(repeatability)*은 동일한 연구자가 같은 연구 내에서 실험을 *반복(repetition)*하는 것과 관련된다. 본래의 넓은 의미에서의 재현성은 독립적인 연구팀이 수행한 복제가 성공한 경우에만 인정된다.

재현성(reproducibility)과 재현가능성(replicability)이라는 용어는 과학 문헌에서도 때때로 의미가 뒤바뀌어 사용되기도 하는데,[^7][^8] 이는 서로 다른 연구 분야가 동일한 용어에 대해 각자의 정의를 확립했기 때문이다.[^9]

재현성과 반복가능성의 측정

화학에서 재현성과 반복가능성이라는 용어는 특정한 정량적 의미로 사용된다.[^10] 실험실 간 실험에서, 화학 물질의 농도 또는 기타 양을 여러 실험실에서 반복 측정하여 측정값의 변동성을 평가한다. 이때, 동일한 실험실 내에서 얻은 두 값의 차이에 대한 표준 편차를 반복가능성이라 한다. 서로 다른 실험실에서 얻은 두 측정값의 차이에 대한 표준 편차를 재현성이라 한다. 이러한 측정값은 계측학에서의 보다 일반적인 개념인 분산 성분과 관련된다.

재현 가능한 연구

재현 가능한 연구 방법

재현 가능한 연구라는 용어는 과학적 결과가 그 도출 과정이 완전히 투명하도록 문서화되어야 한다는 개념을 의미한다. 이를 위해서는 데이터를 얻는 데 사용된 방법에 대한 상세한 설명이 필요하며[^11][^12] 전체 데이터셋과 결과를 계산하기 위한 코드에 쉽게 접근할 수 있어야 한다.[^13][^2][^14][^15][^16][^17] 이는 오픈 사이언스의 핵심적인 부분이다.

모든 연구 프로젝트를 계산적으로 재현 가능하게 만들기 위해, 일반적인 관행은 모든 데이터와 파일을 명확히 분리하고, 라벨을 부여하며, 문서화하는 것이다. 모든 작업은 완전히 문서화되어야 하며, 실행 가능한 한 최대한 자동화하여 수동 개입을 피해야 한다. 작업 흐름은 일련의 작은 단계들로 설계되어, 한 단계의 중간 출력이 다음 단계의 입력으로 직접 전달되도록 결합되어야 한다. 버전 관리를 사용해야 하는데, 이를 통해 프로젝트의 이력을 쉽게 검토할 수 있고 변경 사항을 투명한 방식으로 문서화하고 추적할 수 있기 때문이다.

재현 가능한 연구의 기본 작업 흐름은 데이터 수집, 데이터 처리 및 데이터 분석으로 구성된다. 데이터 수집은 주로 설문조사, 현장 관찰, 실험 연구 등의 1차 출처에서 1차 데이터를 획득하거나, 기존 출처에서 데이터를 얻는 것으로 이루어진다. 데이터 처리는 첫 번째 단계에서 수집된 원시 데이터의 처리 및 검토를 포함하며, 데이터 입력, 데이터 조작 및 필터링을 포함하고 소프트웨어를 사용하여 수행될 수 있다. 데이터는 디지털화되어 데이터 분석을 위해 준비되어야 한다. 데이터는 소프트웨어를 사용하여 통계나 데이터를 해석하거나 시각화함으로써 분석될 수 있으며, 도표와 표를 포함한 정량적 결과 등 연구의 원하는 결과를 산출한다. 소프트웨어와 자동화의 사용은 연구 방법의 재현성을 향상시킨다.[^18]

이러한 문서화를 용이하게 하는 시스템이 있는데, R 마크다운 언어[^19] 나 주피터 노트북이 그 예이다.[^20][^21][^22] 오픈 사이언스 프레임워크는 재현 가능한 연구를 지원하기 위한 플랫폼과 유용한 도구를 제공한다.

실제 재현 가능한 연구

심리학 분야에서는 재현 불가능한 결과에 대한 내부적 우려가 다시 부각되었다(재현의 성공률에 대한 경험적 결과는 재현성 위기 항목 참조). 연구자들은 2006년 연구에서 미국심리학회(APA) 실증 논문 저자 141명 중 103명(73%)이 6개월 동안 데이터 요청에 응답하지 않았음을 보여주었다.[^23] 2015년에 발표된 후속 연구에서는 APA 학술지 논문 저자 394명 중 246명이 요청 시 데이터를 공유하지 않은 것으로 나타났다(62%).[^24] 2012년 논문에서는 연구자들이 자신의 연구와 함께 데이터를 공개해야 한다고 제안되었으며, 시범으로 논문과 함께 데이터셋이 공개되었다.[^25] 2017년에 Scientific Data에 발표된 논문에서는 이것만으로는 충분하지 않을 수 있으며 전체 분석 맥락이 공개되어야 한다고 제안했다.[^26]

경제학에서는 출판된 연구의 신뢰성과 신뢰도에 관한 우려가 제기되어 왔다. 다른 과학 분야에서는 재현성이 근본적인 것으로 간주되며 종종 연구 출판의 전제 조건이지만, 경제학에서는 최우선 과제로 여겨지지 않는다. 대부분의 동료 심사 경제학 학술지는 출판된 결과의 재현 가능성을 보장하기 위한 실질적인 조치를 취하지 않지만, 최상위 경제학 학술지들은 의무적인 데이터 및 코드 아카이브를 채택하는 방향으로 나아가고 있다.[^27] 연구자들이 데이터를 공유할 유인이 낮거나 없으며, 저자들은 데이터를 재사용 가능한 형태로 편집하는 비용을 부담해야 한다. 경제학 연구는 종종 재현 가능하지 않은데, 이는 일부 학술지만이 데이터셋과 프로그램 코드에 대한 적절한 공개 정책을 가지고 있고, 설령 그러한 정책이 있더라도 저자들이 이를 준수하지 않거나 출판사가 이를 시행하지 않는 경우가 많기 때문이다. 37개 동료 심사 학술지에 발표된 599편의 논문에 대한 연구에 따르면, 일부 학술지는 상당한 준수율을 달성했지만, 상당 부분은 부분적으로만 준수하거나 전혀 준수하지 않은 것으로 나타났다. 논문 수준에서 평균 준수율은 47.5%였으며, 학술지 수준에서 평균 준수율은 38%로 13%에서 99%까지 분포했다.[^28]

2018년 PLOS ONE 학술지에 발표된 연구에 따르면, 공중보건 통계 연구자 표본 중 14.4%가 데이터나 코드 또는 둘 다를 공유한 것으로 나타났다.[^29]

의학 문헌에서 보고의 질을 개선하고 이를 통해 재현성을 향상시키기 위한 이니셔티브가 수년간 있어 왔으며, CONSORT 이니셔티브에서 시작되어 현재는 더 넓은 이니셔티브인 EQUATOR 네트워크의 일부가 되었다. 이 그룹은 최근 더 나은 보고가 어떻게 연구에서의 낭비를 줄일 수 있는지에 관심을 돌리고 있으며,[^30] 특히 생의학 연구 분야에 주목하고 있다.

재현 가능한 연구는 약리학에서의 새로운 발견의 핵심이다. 제1상 발견 이후 약물이 상업적 생산을 향해 개발되면서 제2상 재현이 뒤따른다. 최근 수십 년간 제2상 성공률은 28%에서 18%로 하락했다. 2011년 연구에서는 의학 연구의 65%가 재시험 시 일관성이 없었으며, 완전히 재현 가능한 것은 6%에 불과한 것으로 나타났다.[^31]

사회과학 및 생의학 분야를 넘어 재현 가능성을 높이기 위한 일부 노력이 이루어져 왔다. 인문학 분야의 연구는 전문 지식과 해석학에 더 많이 의존하는 경향이 있어 재현 가능성이 더 어려울 수 있다. 그럼에도 불구하고, 인문학에서 더 큰 투명성과 문서화를 요구하는 일부 노력이 이루어져 왔다.[^32]

주목할 만한 재현 불가능한 결과들

노구치 히데요는 매독의 세균 병원체를 정확히 밝혀내어 유명해졌지만, 자신의 실험실에서 이 병원체를 배양할 수 있다고도 주장했다. 그러나 다른 누구도 이 후자의 결과를 재현하지 못했다.

1989년 3월, 유타 대학교의 화학자 스탠리 폰스와 마틴 플라이시만은 핵 과정("상온 핵융합")으로만 설명할 수 있는 과잉 열의 생성을 보고했다. 이 보고는 장비의 단순함을 고려하면 놀라운 것이었다: 본질적으로 중수와 전기분해 과정에서 생성된 중수소를 빠르게 흡수하는 팔라듐 음극을 포함하는 전기분해 셀이었다. 언론 매체는 이 실험을 광범위하게 보도했으며, 전 세계 많은 신문의 1면 기사가 되었다(기자회견을 통한 과학 참조). 이후 몇 달에 걸쳐 다른 연구자들이 실험을 재현하려 했지만 성공하지 못했다.[^33]

니콜라 테슬라는 1899년에 이미 고주파 전류를 사용하여 전선 없이 먼 거리에서 가스 충전 램프를 점등했다고 주장했다. 1904년에 그는 전선 연결 없이 전력을 송수신하는 방법을 시연하기 위해 롱아일랜드에 워든클리프 타워를 건설했다. 이 시설은 경제적 문제로 인해 완전히 가동되지 못했고 완공되지도 않았기 때문에, 그의 첫 번째 결과를 재현하려는 시도는 한 번도 이루어지지 않았다.[^34]

반대 증거가 원래의 주장을 반박한 다른 사례들:

• N선, 이후 허상으로 밝혀진 가설적 형태의 방사선
• 폴리워터, 일반적인 오염 물질이 섞인 물에 불과한 것으로 밝혀진 가설적 중합 형태의 물
• 자극 유발 다능성 획득(STAP), 사기의 결과로 드러남
• GFAJ-1, 인 대신 비소를 DNA에 통합할 수 있다고 주장된 세균
• MMR 백신 논란 — MMR 백신이 자폐증을 유발한다고 주장한 란셋의 연구가 사기로 밝혀짐
• 쇤 스캔들 — 사기로 밝혀진 반도체 "획기적 발견"
• 파워 포즈 — 매우 인기 있는 TED 강연의 주제가 된 후 널리 퍼진 사회심리학 현상이었으나, 수십 건의 연구에서 재현되지 못함[^1]

같이 보기

• 메타과학
• 정확도
• ANOVA 게이지 R&R
• 우연성
• 확증
• 재현 가능한 빌드
• 반증 가능성
• 가설
• 측정 불확도
• 병적 과학
• 유사과학
• 반복 (통계학)
• 재현성 위기
• 연구 투명성
• ReScience C (학술지)
• 학술 출판에서의 철회
• 동어반복
• 검증 가능성
• 검증과 확인

더 읽을거리

• • "과학은 돌이킬 수 없이 망가진 것이 아니라고 [역학자 존 이오아니디스]는 주장한다. 단지 약간의 개선이 필요할 뿐이다. "꽤 우울한 제목의 논문을 발표했음에도 불구하고, 저는 사실 낙관주의자입니다"라고 이오아니디스는 말한다. "저는 과학보다 더 나은 사회 투자를 찾을 수 없습니다.""

외부 링크

• 오픈 사이언스 센터의 투명성 및 개방성 촉진 지침
• 미국 국립표준기술연구소의 NIST 측정 결과의 불확도 평가 및 표현 지침
• CTuning 재단의 산출물이 포함된 재현 가능한 논문
• ReproducibleResearch.net

---

참고 문헌

[^1]: Dominus, Susan. 혁명이 에이미 커디에게 닥쳤을 때. (2017년 10월 18일)

[^2]: 보고서 인용 저자=Buckheit, Jonathan B. 저자2=Donoho, David L. 저자2-링크=David Donoho 날짜=1995년 5월 제목=WaveLab과 재현 가능한 연구 url=https://statistics.stanford.edu/sites/

[^3]: Tsang, Eric W. K.. 조직 과학에서의 반복 검증과 이론 발전: 비판적 실재론의 관점. (1999)

[^4]: [[Steven Shapin]]과 [[Simon Schaffer]], ''[[Leviathan and the Air-Pump]]'', Princeton University Press, 뉴저지주 프린스턴 (1985).

[^5]: 이 인용은 1959년 영어 번역본에서 발췌한 것이다, [[Karl Popper]], ''[[The Logic of Scientific Discovery]]'', Routledge, 런던, 1992, p. 66.

[^6]: [[Ronald Fisher]], ''[[The Design of Experiments]]'', (1971) 1935, Macmillan, p. 14.

[^7]: Barba, Lorena A.. 재현 가능한 연구를 위한 용어 정리

[^8]: Liberman, Mark. 재현성 대 반복성 — 아니면 그 반대인가?

[^9]: Van Eyghen, Hans. 머턴 명제에 관한 브룩: 존 헤들리 브룩의 과학 및 종교 개혁 장에 대한 직접 반복 검증.

[^10]: , . IUPAC - 재현성 (R05305)

[^11]: King, Gary. 반복 검증, 반복 검증. (1995)

[^12]: Kühne, Martin. 자연과학에서의 전통적 정보 관리 개선

[^13]: Fomel, Sergey. 객원 편집자 서문: 재현 가능한 연구

[^14]: 예일 법학대학원 데이터 및 핵심 공유 원탁회의: "재현 가능한 연구"

[^15]: Marwick, Ben. 고고학 연구에서의 계산적 재현성: 기본 원칙과 구현 사례 연구

[^16]: Goodman, Steven N.. 연구 재현성은 무엇을 의미하는가?. (2016년 6월 1일)

[^17]: Harris J.K. 재현 가능한 연구 문화 구축을 위해 공중보건 과학자들이 할 수 있는 세 가지 변화. (2019)

[^18]: Kitzes, Justin. 재현 가능한 연구의 실제: 데이터 집약적 과학의 사례 연구와 교훈. University of California Press. (2018)

[^19]: Marwick, Ben. R(및 관련 도구)을 사용한 데이터 분석 작업의 재현 가능한 패키징. (2017년 9월 29일)

[^20]: Kluyver, Thomas. 주피터 노트북–재현 가능한 계산 워크플로를 위한 출판 형식. IOS Press

[^21]: Beg, Marijan. 재현 가능한 과학적 워크플로를 위한 주피터 활용. (2021년 3월 1일)

[^22]: Granger, Brian E.. 주피터: 코드와 데이터를 통한 사고와 스토리텔링. (2021년 3월 1일)

[^23]: Wicherts, J. M.. 재분석을 위한 심리학 연구 데이터의 부족한 가용성

[^24]: Vanpaemel, W.. 좋은 위기를 낭비하고 있는가? 폭풍 이후 심리학 연구 데이터의 가용성

[^25]: Wicherts, J. M.. 데이터를 공개하라, 그렇지 않으면 데이터가 사라진다! 당신의 데이터도 공개하지 않겠는가?

[^26]: Pasquier, Thomas. 이 데이터가 말할 수 있다면. (2017년 9월 5일)

[^27]: McCullough, Bruce. 오픈 액세스 경제학 저널과 재현 가능한 경제 연구 시장. (2009년 3월)

[^28]: Vlaeminck, Sven. 경제학 저널: 재현 가능한 연구에 대한 립서비스?. (2017-12-10)

[^29]: Harris, Jenine K.. 공중보건에서의 재현 가능한 연구 관행 활용: 공중보건 분석가 대상 설문조사.. (2018)

[^30]: 연구 낭비/EQUATOR 컨퍼런스 {{!

[^31]: Prinz, F.. 믿거나 말거나: 발표된 잠재적 약물 표적 데이터를 얼마나 신뢰할 수 있는가?

[^32]: Van Eyghen, Hans. 머턴 명제에 관한 브룩: 존 헤들리 브룩의 과학 및 종교 개혁 장에 대한 직접 반복 검증

[^33]: Browne, Malcolm. 물리학자들, 새로운 종류의 핵융합 주장을 반박하다. (1989년 5월 3일)

[^34]: [[Margaret Cheney (author) Cheney, Margaret]] (1999), ''테슬라, 번개의 마스터'', 뉴욕: Barnes & Noble Books, ISBN 0-7607-1005-8 , pp. 107.; "재정적 부담을 극복할 수 없었던 그는