Vad statistisk signifikans betyder

Kortversionen

Inom många områden, särskilt fysik och astronomi, mäter sigma hur långt en observerad signal ligger från det brus eller den bakgrund som forskarna förväntade sig.

• Låg sigma betyder att signalen inte ligger långt från vanligt brus.
• Högre sigma betyder att signalen är svårare att förklara som en slumpmässig fluktuation.
• 5 sigma är en mycket stark konventionell tröskel: enligt den statistiska modell som används skulle en så stor slumpmässig fluktuation vara mycket sällsynt.

Den sista formuleringen är viktig: enligt den statistiska modell som används. En signal med hög sigma kan fortfarande påverkas av kalibrering, kontaminering från förgrunden, modellval, urvalseffekter eller en felaktig fysisk tolkning. Sigma hjälper till att besvara frågan ”finns det förmodligen något här?” Det besvarar inte frågan ”vad är det?”

Bruset först

Föreställ dig att du tar en bild av en mörk himmel. Även om det inte finns någon verklig källa är bilden inte helt tom. Detektorer har brus. Himlen har en bakgrund. Databehandlingen lämnar små variationer efter sig. Om du mäter tillräckligt många tomma områden kommer några att se lite ljusa ut bara av en slump.

Den första uppgiften är därför inte att fråga om en ljus fläck är spännande. Den är att fråga hur en vanlig tom himmel ser ut. Forskarna uppskattar bakgrunden, mäter hur mycket den varierar och frågar sedan hur långt kandidatsignalen höjer sig över den.

Det är detta avstånd som sigma mäter.

Vad sigma mäter

En sigma är en standardavvikelse: en typisk enhet för variationen i bruset. En 5σ-signal ligger fem sådana enheter från den förväntade bakgrunden.

Den exakta sannolikheten beror på antaganden om bruset och på om testet är ensidigt eller tvåsidigt, men den praktiska tolkningen är enkel nog: en 5σ-signal är inte bara ett obetydligt utslag. Om bakgrundsmodellen stämmer bör bruset ensamt nästan aldrig ge upphov till något så extremt.

Det är därför en artikel kan ange att en källa har detekterats vid 5.2–5.3σ. Det betyder att den uppmätta signalen ligger omkring fem standardavvikelser över det som författarna förväntar sig av bakgrundsfluktuationer. Det betyder inte att det finns 99.9999% sannolikhet för att författarnas förklaring är sann. Det är det vanliga misstaget.

Vad ett konfidensintervall säger

Inom andra områden rapporteras ofta ett konfidensintervall i stället för sigma. En formulering som “beta = 0.66, 95% konfidensintervall 0.35 till 0.97” anger både en skattad effekt och ett intervall av värden som är förenliga med data enligt den modell som används.

Den enkla tolkningen är: författarnas bästa skattning är 0.66, men data är fortfarande förenliga med effekter så låga som 0.35 eller så höga som 0.97. Om ett 95% konfidensintervall för en effekt ligger helt över noll, som här, är det belägg för att effekten är positiv i denna modell. Det betyder inte att den sanna effekten med 95% sannolikhet ligger inom just detta intervall, och det bevisar inte att resultatet är viktigt i praktiken. Det visar hur precis skattningen är.

Varför fem sigma blev en gräns

Olika områden använder olika konventioner. Inom partikelfysik och stora delar av astronomin tolkas 3σ ofta som belägg: intressant, värt att uppmärksamma, men inte tillräckligt i sig. Ett 5σ-resultat betraktas ofta som en detektion på upptäcktsnivå.

Den höga ribban finns av ett enkelt skäl: forskare undersöker många brusiga företeelser. Om man letar på tillräckligt många ställen kommer något till slut att se ovanligt ut av en slump. En strängare tröskel minskar risken för att ett slumpmässigt utslag hyllas.

Tröskeln är en konvention, inte en naturlag. Ett resultat på 4.9σ är inte värdelöst; ett resultat på 5.1σ är inte magiskt immunt mot fel. Siffran är ett verktyg för disciplin, inte ett sakrament. Statistiken har redan skrudar nog.

Lokalt kontra globalt

Det finns ytterligare en fallgrop: var letade du?

Om forskarna testar en förhandsspecificerad plats — en våglängd, en position, en signalform — kan sigma läsas som en lokal signifikans: hur överraskande signalen är på just den platsen.

Men om de söker igenom tusentals platser, många våglängder, många utsnitt av data eller många möjliga signalformer förändras frågan. Någonstans i den sökningen är det mer sannolikt att bruset ger upphov till en tillfällighet. När man har tagit hänsyn till alla dessa möjligheter att vilseledas kan resultatet ha en lägre global signifikans.

Detta är look-elsewhere-effekten. Den är inte en teknikalitet. Det är skillnaden mellan ”jag hittade ett märkligt märke precis där jag sade att jag skulle leta” och ”jag sökte igenom hela väggen tills en fläck såg ut som ett ansikte”.

Vad sigma inte bevisar

En detektion med hög sigma kan vara verklig och ändå feltolkas.

Den kan visa att det finns en signal i data, men lämnar fortfarande öppet:

• om signalen kommer från det objekt som författarna tror att den gör;
• om en förgrundskälla eller kontaminant är inblandad;
• om instrumentets kalibrering är helt under kontroll;
• om bakgrundsmodellen var den rätta;
• om den fysiska tolkningen är entydig.

Det är därför noggranna artiklar gör mer än att ange sigma. De kontrollerar tomma områden på himlen. De testar om förgrundsobjekt kan ha förväxlats med signalen. De jämför instrument eller filter. De frågar om samma resultat framträder under andra antaganden. Sigma är inträdesprovet. Det är inte hela examen.

Så läser du ett sigmapåstående

När en artikel säger att ett resultat är 5σ ska det läsas som ett starkt påstående om data, inte som ett slutgiltigt omdöme om berättelsen.

Ställ fyra frågor:

1. Vilken är brusmodellen? Vad räknade författarna som vanlig bakgrund?
2. Var testet lokalt eller globalt? Letade de på en plats eller sökte de på många?
3. Vilka kontroller utesluter kontaminering eller artefakter? En hög siffra kan inte göra det på egen hand.
4. Vilken tolkning kopplas till signalen? Detektion och förklaring är separata steg.

Om svaren är bra förtjänar ett resultat med hög sigma tilltro. Om de saknas kan siffran fortfarande vara imponerande — men då får den bära mer än den borde.