…あらためてフォン・ノイマンの「数学者」から
飛行機の仕組みや、それを空に引き上げ推進する力の理論を理解することは、飛行機に乗って持ち上げられるだけーあるいは操縦するーよりも難しいことで、もともと動かし方や使い方にとことんなじんでおらず、それを直感的で経験的な形で同化してもいないことについて、あるい過程の理解が得られるという経験はめったにありません。
言い換えれば、数学をしないで数学を理解するのはとても難しいということだ。
有意性検定は科学の道具で、他の道具と同様、精度には一定の範囲がある。検定をもっと敏感にーたとえば調査する集団の大きさを増すことによってすれば、さらに小さな影響を見ることもできる。それは方法の威力であり、また危険なところでもある。確かに帰無仮説は、文字どおりにとれば、おそらくほとんどいつでも偽となる。強力な薬を患者の血管に入れるのだから、その介入が、その患者が食道がんや血栓や口臭を発症する確率に及ぼす影響がまったくのゼロであると信じるのは難しい。体の各部分どうしが、影響や支配の複雑なフィードバックループをなして影響しあう。なされることすべては、がんを起こすか、防ぐかする。原理的には、十分に強力な調査を行なえば、どちらであるかはわかるだろう。しかしそうした影響はたいてい、無視しても大丈夫なほど微小なものだ。それを検出できるからというだけでは、必ずしもそれが重大だということにはならない。
統計学的な命名が始まる頃に戻って、フィッシャーの検定でp値が0.05未満になって合格とされる結果を、「統計学的に有意」ではなく、「統計学的に認識可能」あるいは「統計学的に検出可能」と言っておけばよかったのにと思う。そのほうがこの方法の意味としては正しい。それは何らかの作用が存在すると教えてくれているだけで、その規模や重要度については何も言っていないからだ。しかしもう遅すぎる。われわれの言語は今手にしている言語なのだ。
しかし、フィッシャーは、有意性の垣根を取り払うのは、真理を見出すのと同じではないこ確かに理解していた。もっと豊かな、もっと反復される手法を構想し、一九二六年にはこう書いている。「科学的事実が実験的に確立したと見なされるべきなのは、適切に設計された実験がこの水準の有意性を示さないことがめったにない場合のみである」。
「一度示すことに成功する」ではなく「示さないことがめったにない」となっている。統計学的に有意な発見は、研究する力を注入すべき有望な場所を指し示す手がかりを与えてくれる。有意性検定は刑事であって、判事ではない。このことがあのことの原因である、あるいはあのことが他のことを防ぐという画期的な発見についての論文を読むと、最後に必ず、その研究にはかかわっていない年長の科学者からの、「この発見は非常に興味深く、この方向でのさらな研究が必要であることを示唆している」の類を呪文のように唱える陳腐な引用があるのはご存じか?そして、人はそれを内容がない義務的な警告と考えて、それを実は読みさえしないことがどれほどあるかは?
そこが肝心ー科学者が必ずそういうのは、それが重要で、それは正しいからだ！刺激的で統計学的にとても有意な発見は、科学の家庭では結論ではなく、始まりにすぎないのだ。結果が新しくて重要なら、他の研究室の他の科学者がその現象や変種の現象を検証、再検証し、結果が一度限りのまぐれなのか、フィッシャーの「示さないことがめったにない」の基準に本当にかなうかどうかを明らかにしようとする。それが科学者の言う「再現性」である。ある結果が何度試行を繰り返しても再現されなかったら、科学は「ごめん」と言って引き下がる。再現という手順は、科学の免疫系と考えられ、新しく入ってきたものに群がり、科学の世界に属さないものを殺す。
ともあれそれが理念だ。実際には、科学は少し免疫反応を抑制する。もちろん、再現が難しい実験がある。自分の研究が、四歳児について、満足を後回しにする能力を測定し、その結果を三十年後に生じる結果と関連づけるとすれば、おいそれとは再現できない。
