Como ler um resultado clínico

Desfecho

Antes de qualquer número significar alguma coisa, pergunte: um número sobre o quê?

A coisa que um estudo mede e conta é seu desfecho. Todo o resto — a razão, o intervalo, o valor de p — trata desse único resultado escolhido. Mude o desfecho e todos os números mudam com ele.

No ensaio de IA, o desfecho principal foi falha do tratamento em até 14 dias — decidido antes do início do ensaio e julgado por um painel de clínicos que não sabiam quais pacientes haviam usado a IA. Esse último detalhe importa: um resultado fixado com antecedência e avaliado às cegas é muito mais difícil de enganar do que um escolhido depois que os resultados aparecem.

Veja o que acontece quando um estudo tem mais de um desfecho. Em um ensaio de vacina contra norovírus que cobrimos, a vacina foi testada de duas maneiras ao mesmo tempo: impediu doença real (gastroenterite) e impediu infecção detectável por exame de laboratório? Ela errou o primeiro e acertou o segundo. Ambos os resultados são reais; eles simplesmente respondem a perguntas diferentes. O desfecho principal pré-escolhido do ensaio era o de doença — portanto, relatado honestamente, o ensaio não atingiu seu desfecho primário, embora claramente tenha feito alguma coisa.

• O que significa: o desfecho é o placar. Leia-o primeiro.
• O que não significa: um bom resultado em uma medida secundária ou escolhida depois não é o mesmo que acertar a medida principal, pré-registrada.
• A armadilha: uma manchete pode citar o desfecho que soar melhor. Sempre pergunte o que foi realmente medido e se era o resultado com o qual os pesquisadores se comprometeram antecipadamente.

Razão de chances

Razão de chances 0,77. Uma razão de chances é um único número que compara dois grupos. A regra prática:

• 1,0 significa nenhuma diferença entre os grupos.
• abaixo de 1,0 significa que o evento foi menos comum no grupo tratado.
• acima de 1,0 significa que foi mais comum.

Então 0,77 diz que o grupo de IA teve cerca de três quartos das chances de um desfecho ruim em comparação com o grupo controle — se o número for real. (Guarde esse “se”; as próximas peças mostram como verificamos isso.)

O pequeno “ajustada” — o a em aOR — significa que os pesquisadores usaram estatística para levar em conta outras diferenças entre os grupos, aqui o fato de que algumas clínicas começaram diferentes de outras. Você encontrará parentes próximos da razão de chances: a razão de risco (RR) e a razão de riscos instantâneos (HR). Elas são calculadas de modos diferentes, mas são lidas da mesma forma: 1,0 é a linha de “nenhuma diferença”.

• O que significa: um “quanto mais, ou menos” compacto entre dois grupos.
• O que não significa: não diz quão comum o evento era, nem quantas pessoas reais são afetadas. Uma razão esconde a linha de base.
• A armadilha: “25% menos chances” soa dramático. Se isso importa ou não depende de quão comum o desfecho era para começo de conversa — que é o próximo número.

Absoluto vs relativo

Este é o ponto que engana quase todo mundo, então vale desacelerar.

Pegue os números do norovírus. A doença aconteceu em 56,9% do grupo placebo e em 44,7% do grupo vacinado. Você pode descrever a mesma diferença de duas maneiras honestas:

• Absoluta: 12,2 pontos percentuais a menos (56,9 menos 44,7).
• Relativa: cerca de 21% a menos (12,2 é aproximadamente um quinto de 56,9).

As duas são verdadeiras. Descrevem o mesmo resultado. E parecem completamente diferentes — exatamente por isso o número relativo, que soa maior, é o queridinho dos comunicados de imprensa.

“Pontos percentuais” e “por cento” não são a mesma coisa. Passar de uma taxa de juros de 5% para 4% é uma queda de um ponto percentual, mas um corte de 20% nos juros que você paga. Confundir os termos é como uma mudança pequena vira uma enorme.

O alerta mais claro vem dos eventos raros. Uma “redução de 50%” parece enorme. Mas se o evento acontecia com 2 pessoas em 1.000 e agora acontece com 1 em 1.000, esses 50% são uma pessoa por mil. Voltando ao ensaio de IA, a razão de chances (0,77) soava como uma melhora de 23% — mas em termos absolutos o desfecho ruim ocorreu em 2,0% do grupo controle e 2,2% do grupo de IA, uma diferença de fração de um por cento. (Percentuais brutos e estimativas ajustadas podem apontar em direções diferentes quando os grupos diferem; é por isso que ambos precisam ser lidos com cuidado — aqui o 0,77 ajustado inclina para um lado e as taxas brutas para o outro.)

• O que significa: sempre encontre os números absolutos — as taxas reais em cada grupo.
• O que não significa: um número relativo grande não promete uma grande mudança no mundo real.
• A armadilha: números relativos sem linha de base. Se alguém lhe der apenas uma redução percentual, pergunte “de quantos, e quão comum já era?”

Intervalo de confiança

IC 95% 0,55 a 1,08. O número único (0,77) é a melhor estimativa pontual do estudo. O intervalo de confiança é a faixa de valores que também são razoavelmente compatíveis com os dados. Um intervalo estreito significa que o estudo prendeu bem a resposta; um amplo significa “honestamente, não temos certeza”.

Uma pergunta faz a maior parte do trabalho aqui: o intervalo inclui “nenhum efeito”? Para uma razão, “nenhum efeito” é 1,0. Nosso intervalo vai de 0,55 a 1,08 — ele atravessa 1,0. Portanto, os dados são compatíveis com um benefício real (0,55), com nada (1,0) e até com um pequeno dano (1,08). Quando o intervalo inclui nenhum efeito, você não pode afirmar um efeito — ponto. O estudo simplesmente não fixou o resultado.

Compare os dois desfechos do norovírus, do mesmo ensaio:

• Doença: diferença de 12,2 pontos percentuais, IC 95% −4,24 a 28,61. Essa faixa cruza zero (nenhuma diferença), portanto o resultado é incerto.
• Infecção: diferença de 23,6 pontos percentuais, IC 95% 7,4 a 38,0. Essa faixa fica inteiramente acima de zero, portanto este é um sinal real.

Mesmo estudo, mesma vacina, dois intervalos, dois vereditos diferentes. O intervalo é onde a honestidade mora.

• O que significa: quão certos estamos, expresso como uma faixa.
• O que não significa: a estimativa pontual não é “a resposta”, e as duas extremidades não são igualmente prováveis — valores perto do meio são mais plausíveis.
• A armadilha: ler o número único e ignorar a faixa. A faixa é o ponto.

Valor de p

P = 0,13. O valor de p responde a uma pergunta estreita e escorregadia: se realmente não houvesse efeito, com que frequência o acaso sozinho produziria uma diferença pelo menos tão grande? P = 0,13 significa cerca de 13% das vezes — comum o suficiente para que não possamos descartar um acaso.

Por costume antigo, pesquisadores muitas vezes chamam um resultado de “estatisticamente significativo” quando P fica abaixo de 0,05. Ajuda saber que 0,05 é uma convenção — uma linha traçada por hábito, não uma lei da natureza. Nosso P = 0,13 fica acima dela, então o resultado da IA é “não significativo”.

Duas armadilhas moram aqui, e ambas são grandes:

• “Significativo” não significa “grande” nem “importante”. Com um estudo grande o bastante, uma diferença pequena demais para importar ainda pode passar no corte.
• “Não significativo” não significa “provado que é zero”. Muitas vezes significa “este estudo não conseguiu dizer”. Ausência de evidência não é evidência de ausência.

Por isso, quando possível, o intervalo de confiança diz mais que o valor de p: o intervalo mostra toda a faixa do que ainda está sobre a mesa, em vez de reduzi-la a um carimbo de passa/falha.

Tamanho da amostra

Quantas pessoas estavam no estudo, e isso era suficiente para ver o efeito que ele procurava? Essa capacidade — a habilidade de um estudo detectar um efeito real quando ele existe — é chamada de poder.

O ensaio de IA incluiu cerca de 9.700 pacientes, o que parece muito. Mas o desfecho ruim era raro — por volta de 2% —, e desfechos raros precisam de números enormes para serem comparados com confiança. Os autores são refrescantemente diretos sobre isso: para confirmar um efeito do tamanho que observaram, seria preciso algo como 100.000 pacientes. Portanto, “não significativo” aqui quer dizer sobretudo “este ensaio foi pequeno demais para dizer”, não “definitivamente não há nada ali”.

Pense em ouvir um sussurro em uma sala barulhenta. Uma escuta rápida diz pouco; talvez sejam necessárias muitas repetições cuidadosas antes de afirmar honestamente se o sussurro é real. Um estudo sem poder é uma única escuta rápida.

• O que significa: estudos maiores conseguem ver efeitos menores; desfechos raros exigem estudos grandes.
• O que não significa: um resultado nulo em um estudo pequeno não prova que nada aconteceu.
• A armadilha: tratar “não conseguimos detectar” como “não está lá”.

Lendo tudo junto

Leia agora a linha inteira de novo, devagar:

a razão de chances ajustada foi 0,77 (intervalo de confiança de 95% 0,55 a 1,08, P = 0,13)

O desfecho diz o que foi medido (falha grave do tratamento, julgada às cegas, em até 14 dias). A razão de chances e as taxas absolutas dizem quão grande o efeito parece — e as taxas absolutas mantêm a razão honesta (2,0% contra 2,2% é minúsculo). O intervalo de confiança diz quão certos estamos (não muito — inclui “nenhum efeito”). O valor de p alerta para não apostar contra o acaso (0,13 é fácil para a sorte produzir). E o tamanho da amostra diz que tipo de “não” é este (pequeno demais para dizer, não prova de nada).

Junta, aquela linha intimidadora diz algo bastante preciso e bastante modesto: neste ensaio, a ferramenta talvez ajude um pouco, talvez não faça nada, e ainda não conseguimos saber qual dos dois — e, para saber, seria preciso um estudo muito maior.

Isso não é um fracasso. É um resultado honesto, relatado honestamente. Nenhum número isolado no pacote poderia ter dito isso. Você precisava de todos eles, lidos em conjunto — que é o ponto inteiro, e a razão de nunca imprimirmos o número sem a leitura em linguagem clara ao lado.

Seis perguntas, não uma fórmula

Não existe uma receita de pontuação que transforme um resultado em veredito — quem oferecer uma está vendendo alguma coisa. O que você pode levar consigo é uma lista curta de perguntas. Elas não produzem uma resposta; mantêm você honesto.

1. O que foi realmente medido, e isso foi decidido com antecedência? (desfecho)
2. Quão grande é o efeito — e quais são os números reais em cada grupo? (razão de chances; absoluto vs relativo)
3. O intervalo de confiança inclui “nenhum efeito”?
4. O que o valor de p está realmente dizendo — e “significativo” está sendo confundido com “importante”?
5. O estudo era grande o bastante para ver o efeito que procurava? (poder)
6. E a pergunta por trás de todas as outras: o que este estudo não mostra?

Faça essas perguntas, nesse espírito, e você não precisa mais que uma manchete lhe diga o que um estudo significa. Você consegue lê-lo por conta própria.