O que significa significância estatística

A versão curta

Em muitos campos, especialmente na física e na astronomia, sigma mede quão distante um sinal observado fica do ruído ou do fundo que os pesquisadores esperavam.

• Sigma baixo significa que o sinal não está longe do ruído comum.
• Sigma mais alto significa que o sinal é mais difícil de explicar como uma flutuação aleatória.
• 5 sigma é um limiar convencional muito forte: no modelo estatístico usado, uma flutuação aleatória desse tamanho seria muito rara.

Essa última frase importa: no modelo estatístico usado. Um sinal de sigma alto ainda pode ser afetado por calibração, contaminação de primeiro plano, escolhas de modelo, efeitos de seleção ou uma interpretação física errada. Sigma ajuda a responder “provavelmente há algo aqui?” Ele não responde “o que é?”

Primeiro, o ruído

Imagine tirar uma foto de um céu escuro. Mesmo se nenhuma fonte real estiver presente, a imagem não é perfeitamente vazia. Detectores têm ruído. O céu tem fundo. O processamento de dados deixa pequenas ondulações. Se você medir regiões vazias suficientes, algumas parecerão um pouco brilhantes apenas por acaso.

Então a primeira tarefa não é perguntar se um ponto brilhante é empolgante. É perguntar como se parece o céu vazio comum. Pesquisadores estimam esse fundo, medem quanto ele varia e então perguntam quanto o sinal candidato se ergue acima dele.

Essa distância é o que sigma conta.

O que sigma mede

Um sigma é um desvio-padrão: uma unidade típica de variação no ruído. Um sinal de 5σ está cinco dessas unidades afastado do fundo esperado.

A probabilidade exata depende de suposições sobre o ruído e de o teste ser unilateral ou bilateral, mas a leitura prática é simples: um sinal de 5σ não é uma elevação casual. Se o modelo de fundo estiver certo, o ruído sozinho quase nunca deveria produzir algo tão extremo.

É por isso que um artigo pode dizer que uma fonte foi detectada a 5,2–5,3σ. Isso significa que o sinal medido está cerca de cinco desvios-padrão acima do que os autores esperam de flutuações de fundo. Não significa que há 99,9999% de chance de a explicação dos autores ser verdadeira. Esse é o erro comum.

O que um intervalo de confiança diz

Outros campos muitas vezes relatam um intervalo de confiança em vez de sigma. Uma frase como “beta = 0,66, intervalo de confiança de 95% 0,35 a 0,97” fornece tanto um efeito estimado quanto uma faixa de valores compatíveis com os dados no modelo usado.

A leitura rápida é: a melhor estimativa dos autores é 0,66, mas os dados ainda são consistentes com efeitos tão baixos quanto 0,35 ou tão altos quanto 0,97. Se um intervalo de confiança de 95% para um efeito fica inteiramente acima de zero, como acontece aqui, isso é evidência de que o efeito é positivo neste modelo. Não significa que o efeito verdadeiro tem 95% de chance de estar dentro daquele intervalo exato, e não prova que o resultado é importante na prática. Diz quão precisa é a estimativa.

Por que cinco sigma virou uma linha

Campos diferentes usam convenções diferentes. Na física de partículas e em boa parte da astronomia, 3σ costuma ser lido como evidência: interessante, digno de atenção, mas insuficiente por si só. Um resultado de 5σ costuma ser tratado como uma detecção em nível de descoberta.

O patamar alto existe por uma razão direta: cientistas olham para muitas coisas ruidosas. Se você procurar em lugares suficientes, alguma coisa acabará parecendo incomum por acaso. Um limiar mais rígido reduz o risco de celebrar uma oscilação aleatória.

O limiar é uma convenção, não uma lei da natureza. Um resultado de 4,9σ não é inútil; um de 5,1σ não fica magicamente imune a erro. O número é uma ferramenta de disciplina, não um sacramento. A estatística já tem vestes demais.

Local vs global

Há mais uma armadilha: onde você olhou?

Se os pesquisadores testam um lugar pré-especificado — um comprimento de onda, uma posição, uma forma de sinal —, então o sigma pode ser lido como uma significância local: quão surpreendente é o sinal exatamente naquele lugar.

Mas se eles varrem milhares de lugares, muitos comprimentos de onda, muitos recortes dos dados ou muitas formas possíveis de sinal, a pergunta muda. Em algum ponto dessa busca, é mais provável que o ruído produza uma coincidência. Depois de levar em conta todas essas chances de ser enganado, o resultado pode ter uma significância global menor.

Esse é o efeito de procurar em muitos lugares. Não é uma tecnicalidade. É a diferença entre “encontrei uma marca estranha exatamente onde eu disse que procuraria” e “vasculhei a parede inteira até uma mancha parecer um rosto”.

O que sigma não prova

Uma detecção de sigma alto pode ser real e ainda assim ser mal interpretada.

Ela pode mostrar que há um sinal nos dados, deixando em aberto:

• se o sinal vem do objeto que os autores acham que vem;
• se uma fonte de primeiro plano ou contaminante está envolvida;
• se a calibração do instrumento está totalmente sob controle;
• se o modelo de fundo era o correto;
• se a interpretação física é única.

É por isso que artigos cuidadosos fazem mais do que citar sigma. Eles verificam regiões vazias do céu. Testam interferentes de primeiro plano. Comparam instrumentos ou filtros. Perguntam se o mesmo resultado aparece sob suposições diferentes. Sigma é o exame de entrada. Não é o diploma inteiro.

Como ler uma afirmação sigma

Quando um artigo diz que um resultado é 5σ, leia isso como uma afirmação forte sobre os dados, não como um veredito final sobre a história.

Faça quatro perguntas:

1. Qual é o modelo de ruído? O que os autores contaram como fundo comum?
2. O teste foi local ou global? Eles olharam em um lugar ou procuraram em muitos?
3. Quais verificações descartam contaminação ou artefatos? Um número alto não faz isso sozinho.
4. Que interpretação está sendo anexada ao sinal? Detecção e explicação são etapas separadas.

Se essas respostas forem boas, um resultado de sigma alto merece confiança. Se estiverem ausentes, o número ainda pode ser impressionante — mas está fazendo mais trabalho do que deveria.