Che cosa significa significatività statistica

La versione breve

In molti campi, soprattutto in fisica e astronomia, sigma misura quanto un segnale osservato si discosta dal rumore o dal fondo che i ricercatori si aspettavano.

• Sigma basso significa che il segnale non è lontano dal rumore ordinario.
• Sigma più alto significa che il segnale è più difficile da spiegare come fluttuazione casuale.
• 5 sigma è una soglia convenzionale molto forte: secondo il modello statistico usato, una fluttuazione casuale così grande sarebbe molto rara.

L’ultima frase conta: secondo il modello statistico usato. Un segnale ad alto sigma può ancora essere influenzato da calibrazione, contaminazione in primo piano, scelte di modello, effetti di selezione o da un’interpretazione fisica sbagliata. Sigma aiuta a rispondere a “probabilmente c’è qualcosa qui?”. Non risponde a “che cos’è?”.

Prima il rumore

Immagina di fotografare un cielo buio. Anche se non c’è nessuna sorgente reale, l’immagine non è perfettamente vuota. I rivelatori hanno rumore. Il cielo ha un fondo. L’elaborazione dei dati lascia piccole ondulazioni. Se misuri abbastanza zone vuote, alcune sembreranno un po’ luminose solo per caso.

Quindi il primo compito non è chiedere se una macchia luminosa sia eccitante. È chiedere che aspetto ha il cielo vuoto ordinario. I ricercatori stimano quel fondo, misurano quanto varia, e poi chiedono quanto il segnale candidato salga sopra di esso.

Quella distanza è ciò che conta sigma.

Che cosa misura sigma

Un sigma è una deviazione standard: una tipica unità di variazione nel rumore. Un segnale a 5σ è a cinque di quelle unità dal fondo atteso.

La probabilità esatta dipende dalle assunzioni sul rumore e dal fatto che il test sia a una coda o a due code, ma la lettura pratica è abbastanza semplice: un segnale a 5σ non è un sobbalzo casuale. Se il modello del fondo è corretto, il solo rumore non dovrebbe quasi mai produrre qualcosa di così estremo.

Per questo un paper può dire che una sorgente è rilevata a 5,2-5,3σ. Significa che il segnale misurato è circa cinque deviazioni standard sopra ciò che gli autori si aspettano dalle fluttuazioni del fondo. Non significa che ci sia una probabilità del 99,9999% che la spiegazione degli autori sia vera. Questo è l’errore comune.

Che cosa dice un intervallo di confidenza

Altri campi spesso riportano un intervallo di confidenza invece di sigma. Una frase come “beta = 0,66, intervallo di confidenza al 95% da 0,35 a 0,97” dà sia una stima dell’effetto sia un intervallo di valori compatibili con i dati, secondo il modello usato.

La lettura rapida è: la migliore stima degli autori è 0,66, ma i dati sono ancora compatibili con effetti bassi come 0,35 o alti come 0,97. Se un intervallo di confidenza al 95% per un effetto resta interamente sopra zero, come qui, è evidenza che l’effetto è positivo in questo modello. Non significa che il vero effetto abbia il 95% di probabilità di stare dentro proprio quell’intervallo, e non dimostra che il risultato sia importante in pratica. Dice quanto è precisa la stima.

Perché cinque sigma è diventata una linea

Campi diversi usano convenzioni diverse. In fisica delle particelle e in molta astronomia, 3σ spesso significa evidenza: interessante, degno di attenzione, non sufficiente da solo. Un risultato a 5σ viene spesso trattato come una rilevazione di livello scoperta.

La soglia alta esiste per una ragione brutale: gli scienziati guardano molte cose rumorose. Se cerchi in abbastanza posti, qualcosa prima o poi sembrerà insolito per caso. Una soglia più severa riduce il rischio di celebrare un sobbalzo casuale.

La soglia è una convenzione, non una legge di natura. Un risultato a 4,9σ non è inutile; un risultato a 5,1σ non diventa magicamente immune all’errore. Il numero è uno strumento di disciplina, non un sacramento. La statistica ha già abbastanza paramenti.

Locale contro globale

C’è un’altra trappola: dove hai guardato?

Se i ricercatori testano un posto specificato in anticipo — una lunghezza d’onda, una posizione, una forma di segnale — allora il sigma può essere letto come significatività locale: quanto è sorprendente il segnale esattamente in quel punto.

Ma se scandagliano migliaia di posizioni, molte lunghezze d’onda, molti tagli dei dati o molte forme possibili del segnale, la domanda cambia. Da qualche parte in quella ricerca, è più probabile che il rumore produca un colpo di fortuna. Dopo aver tenuto conto di tutte quelle occasioni di essere ingannati, il risultato può avere una significatività globale più bassa.

Questo è il look-elsewhere effect. Non è una finezza tecnica. È la differenza tra “ho trovato un segno strano esattamente dove avevo detto che avrei guardato” e “ho cercato su tutta la parete finché una macchia non sembrava una faccia”.

Che cosa sigma non dimostra

Una rilevazione ad alto sigma può essere reale e comunque letta male.

Può mostrare che nei dati c’è un segnale, lasciando però aperto:

• se il segnale venga dall’oggetto che gli autori pensano;
• se sia coinvolta una sorgente in primo piano o un contaminante;
• se la calibrazione dello strumento sia completamente sotto controllo;
• se il modello del fondo fosse quello giusto;
• se l’interpretazione fisica sia unica.

Ecco perché i paper attenti fanno più che citare sigma. Controllano regioni vuote di cielo. Testano contaminanti in primo piano. Confrontano strumenti o filtri. Chiedono se lo stesso risultato appare sotto assunzioni diverse. Sigma è l’esame d’ingresso. Non è tutta la laurea.

Come leggere un’affermazione in sigma

Quando un articolo dice che un risultato è a 5σ, leggilo come una forte affermazione sui dati, non come un verdetto finale sulla storia.

Fai quattro domande:

1. Qual è il modello del rumore? Che cosa hanno contato gli autori come fondo ordinario?
2. Il test era locale o globale? Hanno guardato in un solo posto, o hanno cercato in molti?
3. Quali controlli escludono contaminazione o artefatti? Un numero alto non può farlo da solo.
4. Quale interpretazione viene attaccata al segnale? Rilevazione e spiegazione sono passaggi separati.

Se le risposte sono buone, un risultato ad alto sigma merita fiducia. Se mancano, il numero può essere comunque impressionante — ma sta facendo più lavoro di quanto dovrebbe.