【寄稿】

あなたの解析，再現できますか？
統計解析の再現可能性を高めるために

再現性の危機

　共同研究者や学生の解析結果に違和感があったため，生データから同じ統計解析を行ったが，再現できない。共同研究者や学生，あるいは過去に自分自身が行った解析を見直したものの，何をしているのか理解できない。研究を行っていて，同様の経験をしたことはないだろうか。

　医学に限らず，科学全般において再現性の危機が指摘されている。Nature誌に掲載された1500人の研究者を対象とした調査では，「再現可能性の危機があるか？」の質問に対して，9割が「ある（重大な危機52％，軽微な危機38％）」と回答したことを覚えておられる方も多いかもしれない^1）。特に医学における再現性の危機は，臨床実践に直結する問題になるため，再現可能性を高める取り組みがより一層必要になる。

3つの再現可能性

　再現可能性にはさまざまな定義があるが，Goodmanらの定義^2）を紹介する。Goodmanらは，再現可能性を，方法の再現可能性，結果の再現可能性，推論の再現可能性の3つに分けて定義している（表）。

表　3つの再現可能性（文献2をもとに作成）（クリックで拡大）

　方法の再現可能性とは，論文と同じデータに対して，同じツールや方法を使うことで同じ結果を得られることである。そのため，論文で使用されたデータとコードが入手可能であり，論文と同じデータに同じ手続きで解析をしたら同じ結果を得られることが重要になる。方法の再現可能性を高めるには，第3者が結果を再現できるように研究データと解析コードを共有する必要がある。

　結果の再現可能性とは，論文と同じ方法で収集された新規のデータから元の研究と同じ結果を得られることである。そのため，追試を行った際に論文と同じ結果が得られるように，詳細に方法を報告することが重要になる。結果の再現可能性を高めるには，無作為化比較試験のためのCONSORT声明や観察研究のためのSTROBE声明のような研究報告ガイドラインを活用して必要な情報を論文内に記載したり，より詳細な研究マテリアルをサプリメントや別の論文で発表したり，公開用リポジトリにアップロードする必要がある。

　推論の再現可能性とは，結果から質的に同じ結論を導けることである。同じ結果でも研究者によって結論が違うことがある。特に，統計学的に有意になるような操作を行うp-hacking，有意になった結果の選択的報告，結果を歪めて異なる結論に誘導する粉飾は，推論の再現性を低める。推論の再現可能性を高めるには，p-hackingや選択的報告ができないように事前に研究登録する，メタ分析を用いる，独立した第2の討論者を用意する策がある。

　事前の研究登録やメタ分析は一般的になってきているが，独立した第2の討論者は最近提案されたものである^3）。これは，論文作成にかかわった著者グループの考察に追加して，それらとは独立した専門家（独立した第2の討論者）が結果から考察を書いて独立した考察として掲載するという取り組みである。利害関係のない第2の討論者は，p-hackingなどを行う動機が弱く，著者のみの結論よりもバイアスが小さくなることが期待される。

方法の再現可能性（解析の再現可能性）を高める方法

　3つの再現性を高める方法について説明したが，以下では方法の再現可能性に焦点を当てて説明する。方法の再現可能性を高めるには，第3者が結果を再現できるように研究データや解析コードを共有すれば良いので，他の再現可能性よりも実現は容易に思われるかもしれない。しかし，最近刊行された生物医学論文でも，18.3％の研究しかデータが入手可能ではないとされている^4）。またScience誌に掲載された論文の中では，データと解析コードの提供があったのは全体の44％であり，そのうち結果を再現できたのは26％とされている^5）。

　同じデータとコードを使っても結果を再現できないのには，データや解析コードが第3者が理解しにくい形式で公開されている，ソフトウェアのバージョンや解析環境が元の論文と検証している環境とで異なっているなどがある。そのため，第3者が結果を再現できるようにデータと解析コードを共有するには，共有を前提としたデータと解析コードのパッケージ化と解析環境の共有をする必要がある。

　共有を前提としたデータと解析コードの......