Wat statistiese beduidendheid beteken

Die kort weergawe

In baie vakgebiede, veral fisika en sterrekunde, meet sigma hoe ver 'n waargenome sein van die ruis of agtergrond lê wat die navorsers verwag het.

• Lae sigma beteken die sein is nie ver van gewone ruis nie.
• Hoër sigma beteken die sein is moeiliker om as 'n toevallige fluktuasie te verklaar.
• 5 sigma is 'n baie streng konvensionele drempel: onder die statistiese model wat gebruik word, sou 'n toevallige fluktuasie van daardie grootte baie skaars wees.

Daardie laaste frase is belangrik: onder die statistiese model wat gebruik word. 'n Sein met hoë sigma kan steeds geraak word deur kalibrasie, voorgrondkontaminasie, modelkeuses, seleksie-effekte of 'n verkeerde fisiese interpretasie. Sigma help om te antwoord op “is hier waarskynlik iets?” Dit antwoord nie op “wat is dit?” nie.

Eers die ruis

Stel jou voor jy neem 'n foto van 'n donker hemel. Selfs al is daar geen werklike bron nie, is die beeld nie volmaak leeg nie. Detektore het ruis. Die hemel het 'n agtergrond. Dataverwerking laat klein golwinkies agter. As jy genoeg leë kolle meet, sal sommige bloot per toeval 'n bietjie helder lyk.

Die eerste taak is dus nie om te vra of 'n helder kol opwindend is nie. Dit is om te vra hoe gewone leë hemel lyk. Navorsers skat daardie agtergrond, meet hoeveel dit wissel, en vra dan hoe ver die kandidaatsein daarbo uitstyg.

Daardie afstand is wat sigma tel.

Wat sigma meet

Een sigma is een standaardafwyking: een tipiese eenheid van variasie in die ruis. 'n 5σ-sein lê vyf van daardie eenhede van die verwagte agtergrond af.

Die presiese waarskynlikheid hang af van die aannames oor die ruis en of die toets eensydig of tweesydig is, maar die praktiese lesing is eenvoudig genoeg: 'n 5σ-sein is nie 'n terloopse bultjie nie. As die agtergrondmodel reg is, behoort ruis alleen byna nooit iets so ekstreem voort te bring nie.

Dit is hoekom 'n artikel kan sê 'n bron is teen 5,2–5,3σ opgespoor. Dit beteken die gemete sein is ongeveer vyf standaardafwykings bo wat die outeurs van agtergrondfluktuasies verwag. Dit beteken nie dat daar 'n 99,9999%-kans is dat die outeurs se verklaring waar is nie. Dit is die algemene fout.

Wat 'n vertrouensinterval sê

Ander vakgebiede rapporteer dikwels 'n vertrouensinterval in plaas van sigma. 'n Sin soos “beta = 0,66, 95%-vertrouensinterval van 0,35 tot 0,97” gee sowel 'n geskatte effek as 'n reeks waardes wat met die data versoenbaar is, onder die model wat gebruik is.

Die vinnige lesing is: die outeurs se beste skatting is 0,66, maar die data is steeds versoenbaar met effekte so laag as 0,35 of so hoog as 0,97. As 'n 95%-vertrouensinterval vir 'n effek heeltemal bo nul bly, soos hier, is dit bewys dat die effek in hierdie model positief is. Dit beteken nie dat die ware effek 'n 95%-kans het om binne presies daardie interval te lê nie, en dit bewys nie dat die resultaat in die praktyk belangrik is nie. Dit vertel jou hoe presies die skatting is.

Hoekom vyf sigma 'n grens geword het

Verskillende vakgebiede gebruik verskillende konvensies. In deeltjiefisika en 'n groot deel van die sterrekunde word 3σ dikwels as getuienis gelees: interessant, aandag werd, nie genoeg op sy eie nie. 'n 5σ-resultaat word dikwels as 'n opsporing op ontdekkingsvlak behandel.

Die hoë lat bestaan om 'n stomp rede: wetenskaplikes kyk na baie ruiserige dinge. As jy op genoeg plekke soek, sal iets uiteindelik per toeval ongewoon lyk. 'n Strenger drempel verminder die risiko om 'n toevallige bultjie te vier.

Die drempel is 'n konvensie, nie 'n natuurwet nie. 'n 4,9σ-resultaat is nie waardeloos nie; 'n 5,1σ-resultaat is nie op magiese wyse immuun teen foute nie. Die getal is 'n instrument vir dissipline, nie 'n sakrament nie. Die statistiek het reeds genoeg gewade.

Lokaal teenoor globaal

Daar is nog een slaggat: waar het jy gekyk?

As navorsers een vooraf gespesifiseerde plek toets — een golflengte, een posisie, een seinvorm — dan kan die sigma as 'n lokale beduidendheid gelees word: hoe verrassend die sein presies op daardie plek is.

Maar as hulle duisende plekke deursoek, baie golflengtes, baie snitte van die data of baie moontlike seinvorms, verander die vraag. Iewers in daardie soektog is dit meer waarskynlik dat ruis 'n gelukskoot lewer. Nadat al daardie kanse om mislei te word verreken is, kan die resultaat 'n laer globale beduidendheid hê.

Dit is die look-elsewhere effect. Dit is nie 'n tegniese detail nie. Dit is die verskil tussen “ek het 'n vreemde merk gevind presies waar ek gesê het ek sou kyk” en “ek het die hele muur deursoek totdat een vlek soos 'n gesig gelyk het”.

Wat sigma nie bewys nie

'n Opsporing met hoë sigma kan eg wees en steeds verkeerd gelees word.

Dit kan wys dat daar 'n sein in die data is, terwyl dit oop laat:

• of die sein van die voorwerp kom waarvan die outeurs dit dink;
• of 'n voorgrondbron of 'n kontaminant betrokke is;
• of die instrument se kalibrasie ten volle onder beheer is;
• of die agtergrondmodel die regte een was;
• of die fisiese interpretasie uniek is.

Dit is hoekom sorgvuldige artikels meer doen as om sigma aan te haal. Hulle kontroleer leë streke van die hemel. Hulle toets vir voorgrondindringers. Hulle vergelyk instrumente of filters. Hulle vra of dieselfde resultaat onder ander aannames verskyn. Sigma is die toelatingseksamen. Dit is nie die hele graad nie.

Hoe om 'n sigma-aanspraak te lees

Wanneer 'n artikel sê 'n resultaat is 5σ, lees dit as 'n sterk stelling oor die data, nie as 'n finale uitspraak oor die storie nie.

Vra vier vrae:

1. Wat is die ruismodel? Wat het die outeurs as gewone agtergrond getel?
2. Was die toets lokaal of globaal? Het hulle op een plek gekyk, of op baie gesoek?
3. Watter kontroles sluit kontaminasie of artefakte uit? 'n Hoë getal kan dit nie alleen doen nie.
4. Watter interpretasie word aan die sein geheg? Opsporing en verklaring is afsonderlike stappe.

As daardie antwoorde goed is, verdien 'n resultaat met hoë sigma vertroue. As hulle ontbreek, kan die getal steeds indrukwekkend wees — maar dan doen dit meer werk as wat dit behoort.