Hva statistisk signifikans betyr

Kortversjonen

På mange fagfelt, særlig innen fysikk og astronomi, måler sigma hvor langt et observert signal ligger fra støyen eller bakgrunnen forskerne forventet.

• Lav sigma betyr at signalet ikke ligger langt fra vanlig støy.
• Høyere sigma betyr at signalet er vanskeligere å forklare som en tilfeldig svingning.
• 5 sigma er en svært sterk konvensjonell terskel: under den statistiske modellen som brukes, ville en så stor tilfeldig svingning være svært sjelden.

Den siste formuleringen er viktig: under den statistiske modellen som brukes. Et signal med høy sigma kan fortsatt være påvirket av kalibrering, forgrunnsforurensning, modellvalg, utvalgseffekter eller en feilaktig fysisk tolkning. Sigma bidrar til å besvare spørsmålet «finnes det sannsynligvis noe her?» Det besvarer ikke spørsmålet «hva er det?»

Støyen først

Tenk deg at du tar et bilde av en mørk himmel. Selv om det ikke finnes noen reell kilde, er ikke bildet helt tomt. Detektorer har støy. Himmelen har en bakgrunn. Databehandlingen etterlater små svingninger. Hvis du måler nok tomme områder, vil noen av dem se litt lyse ut bare ved en tilfeldighet.

Den første oppgaven er derfor ikke å spørre om en lys flekk er spennende. Den er å spørre hvordan en vanlig tom himmel ser ut. Forskerne anslår denne bakgrunnen, måler hvor mye den varierer, og spør så hvor langt kandidatsignalet stiger over den.

Det er denne avstanden sigma måler.

Hva sigma måler

Én sigma er ett standardavvik: én typisk enhet for variasjonen i støyen. Et 5σ-signal ligger fem slike enheter fra den forventede bakgrunnen.

Den nøyaktige sannsynligheten avhenger av antakelser om støyen og av om testen er ensidig eller tosidig, men den praktiske tolkningen er enkel nok: Et 5σ-signal er ikke bare et ubetydelig utslag. Hvis bakgrunnsmodellen er riktig, bør støy alene nesten aldri skape noe så ekstremt.

Det er derfor en artikkel kan oppgi at en kilde er detektert ved 5.2–5.3σ. Det betyr at det målte signalet ligger omtrent fem standardavvik over det forfatterne forventer av bakgrunnssvingninger. Det betyr ikke at det er 99.9999% sannsynlighet for at forfatternes forklaring er sann. Det er den vanlige feilen.

Hva et konfidensintervall sier

Andre fagfelt oppgir ofte et konfidensintervall i stedet for sigma. En formulering som “beta = 0.66, 95% konfidensintervall 0.35 til 0.97” gir både en anslått effekt og et intervall av verdier som er forenlige med dataene under modellen som brukes.

Den enkle tolkningen er: Forfatternes beste anslag er 0.66, men dataene er fortsatt forenlige med effekter så lave som 0.35 eller så høye som 0.97. Hvis et 95% konfidensintervall for en effekt ligger helt over null, slik det gjør her, er det evidens for at effekten er positiv i denne modellen. Det betyr ikke at den sanne effekten med 95% sannsynlighet ligger innenfor akkurat dette intervallet, og det beviser ikke at resultatet er viktig i praksis. Det forteller hvor presist anslaget er.

Hvorfor fem sigma ble en grense

Ulike fagfelt bruker ulike konvensjoner. I partikkelfysikk og store deler av astronomien tolkes 3σ ofte som evidens: interessant, verdt oppmerksomhet, men ikke tilstrekkelig i seg selv. Et 5σ-resultat blir ofte behandlet som en deteksjon på oppdagelsesnivå.

Den høye terskelen finnes av en enkel grunn: Forskere undersøker mange støyfylte fenomener. Hvis man leter på nok steder, vil noe til slutt se uvanlig ut ved en tilfeldighet. En strengere terskel reduserer risikoen for å feire et tilfeldig utslag.

Terskelen er en konvensjon, ikke en naturlov. Et resultat på 4.9σ er ikke verdiløst; et resultat på 5.1σ er ikke på magisk vis immunt mot feil. Tallet er et verktøy for disiplin, ikke et sakrament. Statistikken har allerede kapper nok.

Lokal kontra global

Det finnes enda en fallgruve: Hvor lette du?

Hvis forskerne tester ett forhåndsbestemt sted — én bølgelengde, én posisjon, én signalform — kan sigma leses som en lokal signifikans: hvor overraskende signalet er på akkurat dette stedet.

Men hvis de søker gjennom tusenvis av steder, mange bølgelengder, mange utsnitt av dataene eller mange mulige signalformer, endres spørsmålet. Et eller annet sted i dette søket er det mer sannsynlig at støyen skaper et lykketreff. Når man tar høyde for alle disse mulighetene til å bli lurt, kan resultatet ha en lavere global signifikans.

Dette er look-elsewhere-effekten. Den er ikke en teknikalitet. Det er forskjellen mellom «jeg fant et merkelig merke akkurat der jeg sa at jeg skulle lete» og «jeg gjennomsøkte hele veggen til en flekk så ut som et ansikt».

Hva sigma ikke beviser

En deteksjon med høy sigma kan være reell og likevel bli feiltolket.

Den kan vise at det finnes et signal i dataene, samtidig som det fortsatt er uavklart:

• om signalet kommer fra objektet forfatterne tror det kommer fra;
• om en forgrunnskilde eller forurensning er involvert;
• om instrumentkalibreringen er helt under kontroll;
• om bakgrunnsmodellen var den riktige;
• om den fysiske tolkningen er entydig.

Derfor gjør grundige artikler mer enn å oppgi sigma. De kontrollerer tomme områder av himmelen. De tester om forgrunnsobjekter kan forveksles med signalet. De sammenligner instrumenter eller filtre. De spør om det samme resultatet fremkommer under andre antakelser. Sigma er opptaksprøven. Det er ikke hele utdanningen.

Slik leser du en sigmapåstand

Når en artikkel sier at et resultat er 5σ, bør det leses som en sterk påstand om dataene, ikke som en endelig dom over historien.

Still fire spørsmål:

1. Hva er støymodellen? Hva regnet forfatterne som vanlig bakgrunn?
2. Var testen lokal eller global? Lette de på ett sted, eller søkte de på mange?
3. Hvilke kontroller utelukker forurensning eller artefakter? Et høyt tall kan ikke gjøre det alene.
4. Hvilken tolkning knyttes til signalet? Deteksjon og forklaring er separate trinn.

Hvis svarene er gode, fortjener et resultat med høy sigma tillit. Hvis de mangler, kan tallet fortsatt være imponerende — men da blir det tillagt mer vekt enn det bør.