統計的有意性とは何か

手短に言えば

多くの分野で、とりわけ物理学と天文学で、シグマは、観測された信号が、研究者たちが予想したノイズや背景からどれだけ離れているかを測る。

• 低いシグマは、信号が通常のノイズからそう離れていないことを意味する。
• より高いシグマは、信号をランダムなゆらぎとして説明するのがより難しいことを意味する。
• 5シグマは、非常に強い慣例的なしきい値だ。用いられている統計モデルの下では、それほど大きなランダムなゆらぎは非常にまれだろう。

その最後の言い回しが重要だ。用いられている統計モデルの下では。高いシグマの信号でも、較正、前景の混入、モデルの選択、選択効果、あるいは誤った物理的な解釈の影響を受けうる。シグマは「たぶんここに何かあるのか?」に答える手助けをする。「それは何なのか?」には答えない。

まずノイズから

暗い空の写真を撮ることを想像してみよう。本物の光源が一つもなくても、その画像は完全に空白ではない。検出器にはノイズがある。空には背景がある。データ処理は小さな揺らぎを残す。十分な数の空っぽの区画を測れば、いくつかは単なる偶然で少し明るく見えるだろう。

だから最初の仕事は、明るい点がわくわくさせるものかどうかを問うことではない。通常の空っぽの空がどう見えるかを問うことだ。研究者はその背景を見積もり、それがどれだけ変動するかを測り、それから、候補となる信号がそれをどれだけ上回って立ち上がるかを問う。

その隔たりこそ、シグマが数えるものだ。

シグマが測るもの

1シグマは1標準偏差だ。ノイズの中の変動の、一つの典型的な単位である。5σの信号は、予想される背景からその単位の五つ分だけ離れている。

正確な確率は、ノイズについての仮定と、検定が片側か両側かに依存するが、実用的な読み方は十分に単純だ。5σの信号は、気軽なこぶではない。背景モデルが正しければ、ノイズだけでそれほど極端なものが作られることはほとんど決してないはずだ。

これが、論文である光源が5.2–5.3σで検出されたと言うことがある理由だ。それは、測定された信号が、著者が背景のゆらぎから予想するものより約5標準偏差高いことを意味する。それは、著者の説明が真である確率が99.9999%だという意味ではない。それがよくある間違いだ。

信頼区間が語ること

他の分野では、シグマの代わりに信頼区間を報告することが多い。「beta = 0.66、95%信頼区間 0.35から0.97」のような一文は、推定された効果と、用いられたモデルの下でデータと両立する値の範囲の、両方を与える。

手早い読み方はこうだ。著者の最良の推定値は0.66だが、データは、低くて0.35、高くて0.97までの効果とも依然として整合する。ある効果についての95%信頼区間が、ここでのようにまるごとゼロより上に留まるなら、それはこのモデルにおいてその効果が正であることの証拠だ。それは、真の効果がその正確な区間の内側にある確率が95%だという意味ではないし、その結果が実際に重要だと証明するものでもない。それは、推定値がどれだけ精密かを教えてくれる。

なぜ5シグマが一線になったのか

分野が違えば、慣例も違う。素粒子物理学や天文学の多くでは、3σはしばしば証拠と読まれる。興味深く、注目に値するが、それだけでは十分でない。5σの結果は、しばしば発見水準の検出として扱われる。

その高いハードルが存在するのは、身も蓋もない理由からだ。科学者は多くのノイズの多いものを見る。十分な数の場所を探せば、いずれ何かが偶然に異常に見える。より厳しいしきい値は、ランダムなこぶを祝ってしまう危険を減らす。

しきい値は慣例であって、自然の法則ではない。4.9σの結果に価値がないわけではないし、5.1σの結果が魔法のように誤りを免れているわけでもない。その数字は規律のための道具であって、聖なる儀式ではない。統計にはすでに十分な法衣がある。

局所か全体か

もう一つの落とし穴がある。あなたはどこを見たのか?

もし研究者が、あらかじめ指定された一つの場所 — 一つの波長、一つの位置、一つの信号の形 — を検定するなら、そのシグマは局所有意性として読める。まさにその場所で信号がどれほど意外かということだ。

しかし、もし何千もの場所、多くの波長、データの多くの切り口、あるいは多くの可能な信号の形を走査するなら、問いは変わる。その探索のどこかで、ノイズがまぐれ当たりを生み出す可能性はより高くなる。だまされうるそうしたすべての機会を勘定に入れた後では、その結果はより低い全体有意性を持つかもしれない。

これが**別の場所を探す効果(look-elsewhere effect)**だ。これは些細な専門的事項ではない。これは「私は、見ると言ったまさにその場所に、奇妙な印を見つけた」と「私は、一つの染みが顔のように見えるまで、壁全体を探し回った」との違いだ。

シグマが証明しないこと

高いシグマの検出は、本物でありながら、なお読み違えられることがある。

それは、データの中に信号があることを示せる一方で、次のことを未解決のまま残しうる。

• 信号が、著者がそう考えている天体から来ているのかどうか
• 前景の光源や混入物が関わっているのかどうか
• 装置の較正が完全に制御下にあるのかどうか
• 背景モデルが正しいものだったのかどうか
• 物理的な解釈が唯一のものであるのかどうか

だからこそ、注意深い論文はシグマを引用するだけでは済ませない。空の何もない領域を調べる。前景に紛れ込むものがないか検定する。装置やフィルターを比較する。異なる仮定の下で同じ結果が現れるかを問う。シグマは入学試験だ。学位のすべてではない。

シグマの主張の読み方

ある記事が、結果が5σだと言うとき、それを、物語についての最終的な評決としてではなく、データについての強い言明として読もう。

四つの問いを立てよう。

1. ノイズモデルは何か? 著者は何を通常の背景として数えたのか?
2. 検定は局所的だったか、全体的だったか? 彼らは一つの場所を見たのか、それとも多くを探したのか?
3. どんな確認が混入やアーティファクトを排除するのか? 高い数字だけではそれはできない。
4. 信号にはどんな解釈が付されているのか? 検出と説明は別々のステップだ。

それらの答えが良いものなら、高いシグマの結果は信頼に値する。もしそれらが欠けているなら、その数字はやはり印象的かもしれない — だが、それは本来すべき以上の仕事をさせられている。