【寄稿】

あなたの解析，再現できますか？
統計解析の再現可能性を高めるために

再現性の危機

　共同研究者や学生の解析結果に違和感があったため，生データから同じ統計解析を行ったが，再現できない。共同研究者や学生，あるいは過去に自分自身が行った解析を見直したものの，何をしているのか理解できない。研究を行っていて，同様の経験をしたことはないだろうか。

　医学に限らず，科学全般において再現性の危機が指摘されている。Nature誌に掲載された1500人の研究者を対象とした調査では，「再現可能性の危機があるか？」の質問に対して，9割が「ある（重大な危機52％，軽微な危機38％）」と回答したことを覚えておられる方も多いかもしれない^1）。特に医学における再現性の危機は，臨床実践に直結する問題になるため，再現可能性を高める取り組みがより一層必要になる。

3つの再現可能性

　再現可能性にはさまざまな定義があるが，Goodmanらの定義^2）を紹介する。Goodmanらは，再現可能性を，方法の再現可能性，結果の再現可能性，推論の再現可能性の3つに分けて定義している（表）。

表　3つの再現可能性（文献2をもとに作成）（クリックで拡大）

　方法の再現可能性とは，論文と同じデータに対して，同じツールや方法を使うことで同じ結果を得られることである。そのため，論文で使用されたデータとコードが入手可能であり，論文と同じデータに同じ手続きで解析をしたら同じ結果を得られることが重要になる。方法の再現可能性を高めるには，第3者が結果を再現できるように研究データと解析コードを共有する必要がある。

　結果の再現可能性とは，論文と同じ方法で収集された新規のデータから元の研究と同じ結果を得られることである。そのため，追試を行った際に論文と同じ結果が得られるように，詳細に方法を報告することが重要になる。結果の再現可能性を高めるには，無作為化比較試験のためのCONSORT声明や観察研究のためのSTROBE声明のような研究報告ガイドラインを活用して必要な情報を論文内に記載したり，より詳細な研究マテリアルをサプリメントや別の論文で発表したり，公開用リポジトリにアップロードする必要がある。

　推論の再現可能性とは，結果から質的に同じ結論を導けることである。同じ結果でも研究者によって結論が違うことがある。特に，統計学的に有意になるような操作を行うp-hacking，有意になった結果の選択的報告，結果を歪めて異なる結論に誘導する粉飾は，推論の再現性を低める。推論の再現可能性を高めるには，p-hackingや選択的報告ができないように事前に研究登録する，メタ分析を用いる，独立した第2の討論者を用意する策がある。

　事前の研究登録やメタ分析は一般的になってきているが，独立した第2の討論者は最近提案されたものである^3）。これは，論文作成にかかわった著者グループの考察に追加して，それらとは独立した専門家（独立した第2の討論者）が結果から考察を書いて独立した考察として掲載するという取り組みである。利害関係のない第2の討論者は，p-hackingなどを行う動機が弱く，著者のみの結論よりもバイアスが小さくなることが期待される。

方法の再現可能性（解析の再現可能性）を高める方法

　3つの再現性を高める方法について説明したが，以下では方法の再現可能性に焦点を当てて説明する。方法の再現可能性を高めるには，第3者が結果を再現できるように研究データや解析コードを共有すれば良いので，他の再現可能性よりも実現は容易に思われるかもしれない。しかし，最近刊行された生物医学論文でも，18.3％の研究しかデータが入手可能ではないとされている^4）。またScience誌に掲載された論文の中では，データと解析コードの提供があったのは全体の44％であり，そのうち結果を再現できたのは26％とされている^5）。

　同じデータとコードを使っても結果を再現できないのには，データや解析コードが第3者が理解しにくい形式で公開されている，ソフトウェアのバージョンや解析環境が元の論文と検証している環境とで異なっているなどがある。そのため，第3者が結果を再現できるようにデータと解析コードを共有するには，共有を前提としたデータと解析コードのパッケージ化と解析環境の共有をする必要がある。

　共有を前提としたデータと解析コードのパッケージ化では，匿名化した公開用データから論文に掲載された結果が出力されるまでのデータ処理や統計解析過程を残した解析コードを第3者がわかるように残すことになる。その際に，解析コードだけではわかりにくいので，コードの説明もつけておくようにする。これにはRの場合はR Markdown，Pythonの場合はJupyter Notebookなどの便利なツールがある。R MarkdownやJupyter Notebookは，解析コードとその説明を同じファイル内でわかりやすく整理でき，閲覧しやすいHTMLなどの形式で出力できる。また，データや解析コードなどが複数存在する場合もあるので，図1のように，READMEファイル（全体の説明書の役割を果たすファイル）などを用意したり，データのフォルダと解析コードのフォルダを分けるなど，第3者がわかりやすいように解析をパッケージ化しておく（このような取り組みとしては，ソフトウェアパッケージの開発を参考にしてデータとコードの配布を行うResearch Compendium^6）がある）。

図1　解析のパッケージ化

　解析のパッケージ化をしても，ソフトウェアやOSのバージョンによって解析結果が異なることがある。これに対しては，図2のように，OSとソフトをまとめて配布するDockerというコンテナ技術が活用されつつある（Dockerの利用方法は，筆者が公開しているDockerファイル^7）を参照）。Dockerファイルを準備して配布すれば，OSとソフトウェアのバージョンを一致させることができるので，データと解析コードが適切に用意されていれば，結果を再現させることができる。

図2　Dockerを用いた環境の共有

　再現性を高めるための取り組みは日進月歩であるが，通常の大学・大学院教育の中でそれらを学ぶ機会は少ない。そこで筆者は，日本におけるオープンサイエンスや再現可能な研究を進めていくためのオンラインコミュニティとしてJapanese Community for Open and Reproducible Science^8）を始めている。本稿を含めて，日本におけるオープンサイエンスの普及の一助となることを期待している。

◆参考文献・URL
1）Nature. 2016［PMID：27225100］
2）Sci Transl Med. 2016［PMID：27252173］
3）Br J Anaesth. 2019［PMID：30857597］
4）PLoS Biol. 2018［PMID：30457984］
5）Proc Natl Acad Sci U S A. 2018［PMID：29531050］
6）Research Compendium.
7）Dockerfile of writing paper by R Markdown.
8）Japanese Community for Open and Reproducible Science（JCORS）.

くにさと・よしひこ氏
2006年群馬大教育学部卒。11年広島大大学院修了，博士（医学）。早大人間科学部助手を経て，13年より専修大人間科学部講師，15年より准教授。専門は計算論的臨床心理学，認知行動療法。主著に『計算論的精神医学: 情報処理過程から読み解く精神障害』（国里愛彦・片平健太郎・沖村宰・山下祐一著，勁草書房，2019年）。