Hvad statistisk signifikans betyder

Kort fortalt

På mange fagområder, især inden for fysik og astronomi, måler sigma, hvor langt et observeret signal ligger fra den støj eller baggrund, som forskerne forventede.

• Lav sigma betyder, at signalet ikke ligger langt fra almindelig støj.
• Højere sigma betyder, at signalet er sværere at forklare som en tilfældig fluktuation.
• 5 sigma er en meget stærk konventionel tærskel: Under den statistiske model, der anvendes, ville en så stor tilfældig fluktuation være meget sjælden.

Den sidste formulering er vigtig: under den statistiske model, der anvendes. Et signal med høj sigma kan stadig være påvirket af kalibrering, forgrundsforurening, modelvalg, selektionseffekter eller en forkert fysisk fortolkning. Sigma hjælper med at besvare spørgsmålet »er der sandsynligvis noget her?« Det besvarer ikke spørgsmålet »hvad er det?«

Støjen først

Forestil dig, at du tager et billede af en mørk himmel. Selv hvis der ikke er nogen reel kilde, er billedet ikke helt tomt. Detektorer har støj. Himlen har en baggrund. Databehandlingen efterlader små udsving. Hvis du måler tilstrækkeligt mange tomme områder, vil nogle af dem se lidt lyse ud blot ved en tilfældighed.

Den første opgave er derfor ikke at spørge, om en lys plet er spændende. Den er at spørge, hvordan en almindelig tom himmel ser ud. Forskerne estimerer denne baggrund, måler, hvor meget den varierer, og spørger derefter, hvor langt kandidatsignalet hæver sig over den.

Det er denne afstand, sigma måler.

Hvad sigma måler

Én sigma er én standardafvigelse: én typisk enhed for variationen i støjen. Et 5σ-signal ligger fem af disse enheder fra den forventede baggrund.

Den nøjagtige sandsynlighed afhænger af antagelser om støjen og af, om testen er ensidet eller tosidet, men den praktiske læsning er enkel nok: Et 5σ-signal er ikke blot et ubetydeligt udsving. Hvis baggrundsmodellen er korrekt, bør støj alene næsten aldrig skabe noget så ekstremt.

Derfor kan en artikel angive, at en kilde er detekteret ved 5.2–5.3σ. Det betyder, at det målte signal ligger omkring fem standardafvigelser over det, som forfatterne forventer af baggrundsfluktuationer. Det betyder ikke, at der er 99.9999% sandsynlighed for, at forfatternes forklaring er sand. Det er den almindelige fejl.

Hvad et konfidensinterval siger

Andre fagområder angiver ofte et konfidensinterval i stedet for sigma. En formulering som “beta = 0.66, 95% konfidensinterval 0.35 til 0.97” giver både en estimeret effekt og et interval af værdier, der er forenelige med dataene under den anvendte model.

Den enkle læsning er: Forfatternes bedste estimat er 0.66, men dataene er stadig forenelige med effekter helt ned til 0.35 eller helt op til 0.97. Hvis et 95% konfidensinterval for en effekt ligger helt over nul, som det gør her, er det evidens for, at effekten er positiv i denne model. Det betyder ikke, at den sande effekt med 95% sandsynlighed ligger inden for netop dette interval, og det beviser ikke, at resultatet er vigtigt i praksis. Det fortæller, hvor præcist estimatet er.

Hvorfor fem sigma blev en grænse

Forskellige fagområder bruger forskellige konventioner. I partikelfysik og store dele af astronomien fortolkes 3σ ofte som evidens: interessant, værd at bemærke, men ikke tilstrækkeligt i sig selv. Et 5σ-resultat behandles ofte som en detektion på opdagelsesniveau.

Den høje tærskel findes af en enkel grund: Forskere undersøger mange støjfyldte fænomener. Hvis man leder tilstrækkeligt mange steder, vil noget til sidst se usædvanligt ud ved en tilfældighed. En strengere tærskel mindsker risikoen for at fejre et tilfældigt udsving.

Tærsklen er en konvention, ikke en naturlov. Et resultat på 4.9σ er ikke værdiløst; et resultat på 5.1σ er ikke på magisk vis immunt over for fejl. Tallet er et redskab til disciplin, ikke et sakramente. Statistikken har allerede kåber nok.

Lokalt kontra globalt

Der er endnu en faldgrube: Hvor ledte du?

Hvis forskerne tester ét på forhånd angivet sted — én bølgelængde, én position, én signalform — kan sigma læses som en lokal signifikans: hvor overraskende signalet er netop dér.

Men hvis de gennemsøger tusindvis af steder, mange bølgelængder, mange udsnit af dataene eller mange mulige signalformer, ændrer spørgsmålet sig. Et eller andet sted i denne søgning er det mere sandsynligt, at støjen skaber et tilfældigt udsving. Når man tager højde for alle disse muligheder for at blive snydt, kan resultatet have en lavere global signifikans.

Dette er look-elsewhere-effekten. Det er ikke en teknikalitet. Det er forskellen mellem »jeg fandt et mærkeligt mærke præcis dér, hvor jeg sagde, at jeg ville lede« og »jeg gennemsøgte hele væggen, indtil en plet lignede et ansigt«.

Hvad sigma ikke beviser

En detektion med høj sigma kan være reel og alligevel blive fejlfortolket.

Den kan vise, at der er et signal i dataene, mens det stadig står åbent:

• om signalet stammer fra det objekt, som forfatterne mener, det gør;
• om en forgrundskilde eller kontaminant spiller ind;
• om instrumentets kalibrering er helt under kontrol;
• om baggrundsmodellen var den rette;
• om den fysiske fortolkning er entydig.

Derfor gør omhyggelige artikler mere end at angive sigma. De kontrollerer tomme områder på himlen. De tester, om forgrundsobjekter kan forveksles med signalet. De sammenligner instrumenter eller filtre. De spørger, om det samme resultat fremkommer under andre antagelser. Sigma er adgangsprøven. Det er ikke hele uddannelsen.

Sådan læser du en sigma-påstand

Når en artikel siger, at et resultat er 5σ, skal det læses som et stærkt udsagn om dataene, ikke som en endelig dom over fortællingen.

Stil fire spørgsmål:

1. Hvad er støjmodellen? Hvad regnede forfatterne for almindelig baggrund?
2. Var testen lokal eller global? Ledte de ét sted, eller søgte de mange steder?
3. Hvilke kontroller udelukker kontaminering eller artefakter? Et højt tal kan ikke gøre det alene.
4. Hvilken fortolkning knyttes til signalet? Detektion og forklaring er separate trin.

Hvis svarene er gode, fortjener et resultat med høj sigma tillid. Hvis de mangler, kan tallet stadig være imponerende — men så tillægges det mere vægt, end det bør.