Wat statistische significantie betekent

De korte versie

In veel vakgebieden, vooral de natuurkunde en de astronomie, meet sigma hoe ver een waargenomen signaal afligt van de ruis of de achtergrond die de onderzoekers verwachtten.

• Lage sigma betekent dat het signaal niet ver van de gewone ruis af zit.
• Hogere sigma betekent dat het signaal moeilijker te verklaren is als toevallige fluctuatie.
• 5 sigma is een zeer strenge conventionele drempel: onder het gebruikte statistische model zou een toevallige fluctuatie van die omvang zeer zeldzaam zijn.

Die laatste zinsnede is belangrijk: onder het gebruikte statistische model. Een signaal met hoge sigma kan nog steeds beïnvloed zijn door kalibratie, voorgrondcontaminatie, modelkeuzes, selectie-effecten of een verkeerde fysische interpretatie. Sigma helpt bij de vraag “zit hier waarschijnlijk iets?” Het beantwoordt niet de vraag “wat is het?”

Eerst de ruis

Stel je voor dat je een foto maakt van een donkere hemel. Zelfs als er geen echte bron aanwezig is, is het beeld niet volmaakt leeg. Detectoren hebben ruis. De hemel heeft een achtergrond. Dataverwerking laat kleine golfjes achter. Als je genoeg lege stukjes meet, zullen sommige er puur toevallig een beetje helder uitzien.

De eerste taak is dus niet om te vragen of een heldere vlek opwindend is. Het is om te vragen hoe gewone lege hemel eruitziet. Onderzoekers schatten die achtergrond, meten hoeveel die varieert, en vragen dan hoe ver het kandidaat-signaal erbovenuit stijgt.

Die afstand is wat sigma telt.

Wat sigma meet

Eén sigma is één standaardafwijking: één typische eenheid van variatie in de ruis. Een 5σ-signaal ligt vijf van die eenheden van de verwachte achtergrond af.

De exacte kans hangt af van de aannames over de ruis en van de vraag of de toets eenzijdig of tweezijdig is, maar de praktische lezing is eenvoudig genoeg: een 5σ-signaal is geen toevallig hobbeltje. Als het achtergrondmodel klopt, zou ruis alleen vrijwel nooit iets zo extreems moeten voortbrengen.

Daarom kan een paper zeggen dat een bron is gedetecteerd op 5,2–5,3σ. Het betekent dat het gemeten signaal ongeveer vijf standaardafwijkingen boven ligt wat de auteurs verwachten van achtergrondfluctuaties. Het betekent niet dat er een kans van 99,9999% is dat de verklaring van de auteurs waar is. Dat is de veelgemaakte fout.

Wat een betrouwbaarheidsinterval zegt

Andere vakgebieden rapporteren vaak een betrouwbaarheidsinterval in plaats van sigma. Een zin als “beta = 0,66, 95%-betrouwbaarheidsinterval van 0,35 tot 0,97” geeft zowel een geschat effect als een bereik van waarden die verenigbaar zijn met de data, onder het gebruikte model.

De snelle lezing is: de beste schatting van de auteurs is 0,66, maar de data zijn nog steeds verenigbaar met effecten zo laag als 0,35 of zo hoog als 0,97. Als een 95%-betrouwbaarheidsinterval voor een effect volledig boven nul blijft, zoals hier, is dat bewijs dat het effect in dit model positief is. Het betekent niet dat het ware effect 95% kans heeft om binnen precies dat interval te liggen, en het bewijst niet dat het resultaat in de praktijk belangrijk is. Het vertelt je hoe precies de schatting is.

Waarom vijf sigma een grens werd

Verschillende vakgebieden gebruiken verschillende conventies. In de deeltjesfysica en een groot deel van de astronomie wordt 3σ vaak gelezen als aanwijzing: interessant, aandacht waard, op zichzelf niet genoeg. Een 5σ-resultaat wordt vaak behandeld als een detectie op ontdekkingsniveau.

De hoge lat bestaat om een botte reden: wetenschappers kijken naar veel ruisige dingen. Als je op genoeg plekken zoekt, zal er uiteindelijk iets puur toevallig ongewoon uitzien. Een strengere drempel verkleint het risico dat een toevallig hobbeltje wordt gevierd.

De drempel is een conventie, geen natuurwet. Een 4,9σ-resultaat is niet waardeloos; een 5,1σ-resultaat is niet op magische wijze immuun voor fouten. Het getal is een instrument voor discipline, geen sacrament. De statistiek heeft al genoeg gewaden.

Lokaal versus globaal

Er is nog één valkuil: waar heb je gekeken?

Als onderzoekers één vooraf vastgelegde plek toetsen — één golflengte, één positie, één signaalvorm — dan kan de sigma worden gelezen als een lokale significantie: hoe verrassend het signaal precies op die plek is.

Maar als ze duizenden plekken afzoeken, veel golflengtes, veel doorsnedes van de data of veel mogelijke signaalvormen, verandert de vraag. Ergens in die zoektocht is de kans groter dat ruis een toevalstreffer oplevert. Na verrekening van al die kansen om voor de gek gehouden te worden, kan het resultaat een lagere globale significantie hebben.

Dit is het look-elsewhere effect. Het is geen technisch detail. Het is het verschil tussen “ik vond een vreemd teken precies waar ik had gezegd dat ik zou kijken” en “ik heb de hele muur afgezocht tot één vlek op een gezicht leek”.

Wat sigma niet bewijst

Een detectie met hoge sigma kan echt zijn en toch verkeerd gelezen worden.

Ze kan laten zien dat er een signaal in de data zit, terwijl open blijft:

• of het signaal afkomstig is van het object waarvan de auteurs dat denken;
• of er een voorgrondbron of een verontreiniging in het spel is;
• of de kalibratie van het instrument volledig onder controle is;
• of het achtergrondmodel het juiste was;
• of de fysische interpretatie uniek is.

Daarom doen zorgvuldige papers meer dan sigma citeren. Ze controleren lege stukken hemel. Ze toetsen op voorgrondindringers. Ze vergelijken instrumenten of filters. Ze vragen of hetzelfde resultaat verschijnt onder andere aannames. Sigma is het toelatingsexamen. Het is niet het hele diploma.

Hoe je een sigmaclaim leest

Wanneer een artikel zegt dat een resultaat 5σ is, lees dat dan als een sterke uitspraak over de data, niet als een eindoordeel over het verhaal.

Stel vier vragen:

1. Wat is het ruismodel? Wat hebben de auteurs als gewone achtergrond geteld?
2. Was de toets lokaal of globaal? Keken ze op één plek, of zochten ze op veel plekken?
3. Welke controles sluiten contaminatie of artefacten uit? Een hoog getal kan dat niet in zijn eentje.
4. Welke interpretatie wordt aan het signaal gehangen? Detectie en verklaring zijn afzonderlijke stappen.

Als die antwoorden goed zijn, verdient een resultaat met hoge sigma vertrouwen. Als ze ontbreken, kan het getal nog steeds indrukwekkend zijn — maar dan doet het meer werk dan het zou moeten.