Was statistische Signifikanz bedeutet

Die Kurzfassung

In vielen Fachgebieten, vor allem in der Physik und der Astronomie, misst Sigma, wie weit ein beobachtetes Signal von dem Rauschen oder Hintergrund entfernt liegt, den die Forschenden erwartet haben.

• Niedriges Sigma bedeutet, dass das Signal nicht weit vom gewöhnlichen Rauschen entfernt ist.
• Höheres Sigma bedeutet, dass das Signal schwerer als zufällige Fluktuation zu erklären ist.
• 5 Sigma ist eine sehr strenge konventionelle Schwelle: Unter dem verwendeten statistischen Modell wäre eine so große zufällige Fluktuation sehr selten.

Der letzte Halbsatz ist entscheidend: unter dem verwendeten statistischen Modell. Ein Signal mit hohem Sigma kann immer noch von Kalibrierung, Vordergrundkontamination, Modellentscheidungen, Selektionseffekten oder einer falschen physikalischen Interpretation betroffen sein. Sigma hilft bei der Frage „Ist hier wahrscheinlich etwas?“ Es beantwortet nicht die Frage „Was ist es?“

Zuerst das Rauschen

Stell dir vor, du fotografierst einen dunklen Himmel. Selbst wenn keine echte Quelle vorhanden ist, ist das Bild nicht vollkommen leer. Detektoren haben Rauschen. Der Himmel hat einen Hintergrund. Die Datenverarbeitung hinterlässt kleine Wellen. Wenn du genug leere Ausschnitte misst, werden einige rein zufällig ein wenig hell aussehen.

Die erste Aufgabe ist also nicht zu fragen, ob ein heller Fleck aufregend ist. Sie besteht darin zu fragen, wie gewöhnlicher leerer Himmel aussieht. Forschende schätzen diesen Hintergrund, messen, wie stark er schwankt, und fragen dann, wie weit das Kandidatensignal darüber hinausragt.

Diese Distanz ist das, was Sigma zählt.

Was Sigma misst

Ein Sigma ist eine Standardabweichung: eine typische Einheit der Variation im Rauschen. Ein 5σ-Signal liegt fünf dieser Einheiten vom erwarteten Hintergrund entfernt.

Die genaue Wahrscheinlichkeit hängt von den Annahmen über das Rauschen ab und davon, ob der Test einseitig oder zweiseitig ist, aber die praktische Lesart ist einfach genug: Ein 5σ-Signal ist kein beiläufiger Ausschlag. Wenn das Hintergrundmodell stimmt, sollte Rauschen allein fast nie etwas so Extremes erzeugen.

Deshalb kann ein Paper sagen, eine Quelle sei mit 5,2–5,3σ nachgewiesen. Das bedeutet, dass das gemessene Signal etwa fünf Standardabweichungen über dem liegt, was die Autoren von den Fluktuationen des Hintergrunds erwarten. Es bedeutet nicht, dass die Erklärung der Autoren mit 99,9999 % Wahrscheinlichkeit wahr ist. Das ist der häufige Fehler.

Was ein Konfidenzintervall aussagt

Andere Fachgebiete berichten oft ein Konfidenzintervall statt Sigma. Ein Satz wie „beta = 0,66, 95-%-Konfidenzintervall von 0,35 bis 0,97“ liefert sowohl einen geschätzten Effekt als auch einen Bereich von Werten, die unter dem verwendeten Modell mit den Daten vereinbar sind.

Die schnelle Lesart lautet: Die beste Schätzung der Autoren ist 0,66, aber die Daten sind noch mit Effekten so niedrig wie 0,35 oder so hoch wie 0,97 vereinbar. Wenn ein 95-%-Konfidenzintervall für einen Effekt vollständig über null bleibt, wie hier, ist das ein Beleg dafür, dass der Effekt in diesem Modell positiv ist. Es bedeutet nicht, dass der wahre Effekt mit 95 % Wahrscheinlichkeit in genau diesem Intervall liegt, und es beweist nicht, dass das Ergebnis in der Praxis bedeutsam ist. Es sagt dir, wie präzise die Schätzung ist.

Warum fünf Sigma zur Grenze wurde

Verschiedene Fachgebiete verwenden verschiedene Konventionen. In der Teilchenphysik und in weiten Teilen der Astronomie wird 3σ oft als Evidenz gelesen: interessant, Aufmerksamkeit wert, für sich allein nicht genug. Ein 5σ-Ergebnis wird oft als Nachweis auf Entdeckungsniveau behandelt.

Die hohe Hürde existiert aus einem schlichten Grund: Wissenschaftler betrachten viele verrauschte Dinge. Wenn man an genügend Stellen sucht, wird irgendwann etwas rein zufällig ungewöhnlich aussehen. Eine strengere Schwelle verringert das Risiko, einen zufälligen Ausschlag zu feiern.

Die Schwelle ist eine Konvention, kein Naturgesetz. Ein 4,9σ-Ergebnis ist nicht wertlos; ein 5,1σ-Ergebnis ist nicht auf magische Weise gegen Fehler immun. Die Zahl ist ein Werkzeug der Disziplin, kein Sakrament. Die Statistik hat schon genug Gewänder.

Lokal versus global

Es gibt noch eine Falle: Wo hast du gesucht?

Wenn Forschende eine einzige, vorab festgelegte Stelle testen — eine Wellenlänge, eine Position, eine Signalform — dann kann das Sigma als lokale Signifikanz gelesen werden: wie überraschend das Signal genau an dieser Stelle ist.

Aber wenn sie Tausende von Stellen absuchen, viele Wellenlängen, viele Schnitte durch die Daten oder viele mögliche Signalformen, ändert sich die Frage. Irgendwo in dieser Suche ist es wahrscheinlicher, dass das Rauschen einen Glückstreffer erzeugt. Nach Berücksichtigung all dieser Gelegenheiten, getäuscht zu werden, kann das Ergebnis eine niedrigere globale Signifikanz haben.

Das ist der Look-elsewhere-Effekt. Er ist keine Formalität. Er ist der Unterschied zwischen „Ich habe ein seltsames Zeichen genau dort gefunden, wo ich angekündigt hatte zu suchen“ und „Ich habe die ganze Wand abgesucht, bis ein Fleck wie ein Gesicht aussah“.

Was Sigma nicht beweist

Ein Nachweis mit hohem Sigma kann echt sein und trotzdem falsch gelesen werden.

Er kann zeigen, dass in den Daten ein Signal steckt, und dabei offenlassen:

• ob das Signal von dem Objekt stammt, von dem die Autoren es annehmen;
• ob eine Vordergrundquelle oder ein Kontaminant beteiligt ist;
• ob die Kalibrierung des Instruments vollständig unter Kontrolle ist;
• ob das Hintergrundmodell das richtige war;
• ob die physikalische Interpretation eindeutig ist.

Deshalb tun sorgfältige Paper mehr, als Sigma zu zitieren. Sie prüfen leere Himmelsregionen. Sie testen auf Vordergrund-Eindringlinge. Sie vergleichen Instrumente oder Filter. Sie fragen, ob dasselbe Ergebnis unter anderen Annahmen erscheint. Sigma ist die Aufnahmeprüfung. Es ist nicht der ganze Abschluss.

Wie man eine Sigma-Behauptung liest

Wenn ein Artikel sagt, ein Ergebnis liege bei 5σ, lies das als starke Aussage über die Daten, nicht als endgültiges Urteil über die Geschichte.

Stelle vier Fragen:

1. Was ist das Rauschmodell? Was haben die Autoren als gewöhnlichen Hintergrund gezählt?
2. War der Test lokal oder global? Haben sie an einer Stelle geschaut oder an vielen gesucht?
3. Welche Prüfungen schließen Kontamination oder Artefakte aus? Eine hohe Zahl kann das allein nicht leisten.
4. Welche Interpretation wird an das Signal geknüpft? Nachweis und Erklärung sind getrennte Schritte.

Wenn diese Antworten gut sind, verdient ein Ergebnis mit hohem Sigma Vertrauen. Wenn sie fehlen, mag die Zahl trotzdem beeindruckend sein — aber sie leistet mehr Arbeit, als sie sollte.