Come leggere un risultato clinico

Endpoint

Prima che qualunque numero significhi qualcosa, chiedi: un numero su che cosa?

La cosa che uno studio misura e conta è il suo endpoint. Tutto il resto — il rapporto, l’intervallo, il p-value — riguarda quell’esito scelto. Cambia l’endpoint e ogni numero cambia con lui.

Nel trial sull’AI, l’endpoint principale era il fallimento terapeutico entro 14 giorni — deciso prima dell’inizio del trial e giudicato da un panel di clinici che non sapevano quali pazienti avessero usato l’AI. Quest’ultimo dettaglio conta: un esito fissato in anticipo e valutato in cieco è molto più difficile da manipolare, anche senza volerlo, di uno scelto dopo aver visto i risultati.

Guarda cosa succede quando uno studio ha più di un endpoint. In un trial su un vaccino contro il norovirus che abbiamo coperto, il vaccino veniva testato in due modi insieme: fermava la malattia vera e propria (gastroenterite), e fermava l’infezione rilevabile da un test di laboratorio? Ha mancato il primo e centrato il secondo. Entrambi i risultati sono reali; rispondono semplicemente a domande diverse. L’endpoint principale scelto in anticipo era quello sulla malattia — quindi, riportato onestamente, il trial ha mancato il suo endpoint primario anche se chiaramente qualcosa ha fatto.

• Che cosa significa: l’endpoint è il tabellone. Leggilo per primo.
• Che cosa non significa: un buon risultato su una misura secondaria o scelta dopo non è la stessa cosa che centrare quella principale, preregistrata.
• La trappola: un titolo può citare l’endpoint che suona meglio. Chiedi sempre che cosa è stato davvero misurato, e se era l’esito a cui i ricercatori si erano impegnati in anticipo.

Odds ratio

Odds ratio 0,77. Un odds ratio è un singolo numero che confronta due gruppi. La regola pratica:

• 1,0 significa nessuna differenza tra i gruppi.
• sotto 1,0 significa che l’evento era meno comune nel gruppo trattato.
• sopra 1,0 significa che era più comune.

Quindi 0,77 dice che il gruppo AI aveva circa tre quarti delle odds di un esito negativo rispetto al gruppo controllo — se il numero è reale. Tieni fermo quel “se”: i pezzi successivi servono a controllarlo.

Il piccolo “aggiustato” — la a in aOR — significa che i ricercatori hanno usato la statistica per tenere conto di altre differenze tra i gruppi, qui il fatto che alcune cliniche partivano diverse da altre. Incontrerai parenti stretti dell’odds ratio: il risk ratio (RR) e l’hazard ratio (HR). Si calcolano in modo diverso, ma li leggi nello stesso modo: 1,0 è la linea di “nessuna differenza”.

• Che cosa significa: un “quanto di più, o di meno” compatto tra due gruppi.
• Che cosa non significa: non ti dice quanto fosse comune l’evento, né quante persone reali siano coinvolte. Un rapporto nasconde la baseline.
• La trappola: “odds più basse del 25%” suona drammatico. Se conti davvero dipende da quanto era comune l’esito all’inizio — ed è proprio il numero successivo.

Assoluto vs relativo

Questo è il punto che inganna quasi tutti, quindi vale la pena rallentare.

Prendi i numeri del norovirus. La malattia si è verificata nel 56,9% del gruppo placebo e nel 44,7% del gruppo vaccinato. Puoi descrivere lo stesso divario in due modi onesti:

• Assoluto: 12,2 punti percentuali in meno (56,9 meno 44,7).
• Relativo: circa 21% in meno (12,2 è circa un quinto di 56,9).

Entrambi sono veri. Descrivono lo stesso identico risultato. E suonano completamente diversi — proprio per questo il numero relativo, che sembra più grande, è il preferito dei comunicati stampa.

“Punti percentuali” e “percento” non sono la stessa cosa. Passare da un tasso d’interesse del 5% al 4% è una discesa di un punto percentuale, ma un taglio del 20% dell’interesse che paghi. Confonderli è il modo in cui un cambiamento piccolo viene venduto come enorme.

L’avvertimento più chiaro arriva dagli eventi rari. Una “riduzione del 50%” suona enorme. Ma se l’evento accadeva a 2 persone su 1.000 e ora accade a 1 su 1.000, quel 50% è una persona ogni mille. Tornando al trial AI, l’odds ratio (0,77) suonava come un miglioramento del 23% — ma in termini assoluti l’esito negativo si è verificato nel 2,0% del gruppo controllo e nel 2,2% del gruppo AI, un divario di una frazione di punto percentuale. (Percentuali grezze e stime aggiustate possono puntare in direzioni diverse quando i gruppi differiscono; per questo vanno lette entrambe con attenzione — qui lo 0,77 aggiustato inclina da una parte e i tassi grezzi dall’altra.)

• Che cosa significa: trova sempre i numeri assoluti — i tassi reali in ciascun gruppo.
• Che cosa non significa: un grande numero relativo non promette un grande cambiamento nel mondo reale.
• La trappola: cifre relative senza baseline. Se qualcuno ti dà solo una riduzione percentuale, chiedi: “su quanti, e quanto era comune già prima?”

Intervallo di confidenza

IC 95% 0,55–1,08. Il singolo numero (0,77) è la miglior stima puntuale dello studio. L’intervallo di confidenza è l’intervallo di valori che sono ancora ragionevolmente compatibili con i dati. Un intervallo stretto significa che lo studio ha inchiodato bene la risposta; uno largo significa “onestamente, non siamo sicuri”.

Una domanda fa gran parte del lavoro: l’intervallo include “nessun effetto”? Per un rapporto, “nessun effetto” è 1,0. Il nostro intervallo va da 0,55 a 1,08 — attraversa 1,0. Quindi i dati sono compatibili con un vero beneficio (0,55), con nulla (1,0) e perfino con un lieve danno (1,08). Quando l’intervallo include nessun effetto, non puoi rivendicare un effetto — punto. Lo studio semplicemente non ha fissato il risultato.

Confronta i due endpoint del norovirus, dallo stesso trial:

• Malattia: differenza 12,2 punti percentuali, IC 95% da -4,24 a 28,61. Questo intervallo attraversa zero (nessuna differenza), quindi il risultato è incerto.
• Infezione: differenza 23,6 punti percentuali, IC 95% da 7,4 a 38,0. Questo intervallo è interamente sopra zero, quindi qui c’è un segnale reale.

Stesso studio, stesso vaccino, due intervalli, due verdetti diversi. L’intervallo è il punto in cui vive l’onestà.

• Che cosa significa: quanto siamo sicuri, espresso come intervallo.
• Che cosa non significa: la stima puntuale non è “la risposta”, e i due estremi non sono ugualmente probabili — i valori vicino al centro sono più plausibili.
• La trappola: leggere il singolo numero e ignorare l’intervallo. L’intervallo è il punto.

P-value

P = 0,13. Il p-value risponde a una domanda stretta e scivolosa: se non ci fosse davvero nessun effetto, quanto spesso il caso puro produrrebbe da solo un divario almeno così grande? P = 0,13 significa circa il 13% delle volte — abbastanza comune da non poter escludere un colpo di fortuna.

Per lunga consuetudine, i ricercatori spesso chiamano un risultato “statisticamente significativo” quando P è sotto 0,05. Aiuta sapere che 0,05 è una convenzione — una linea tracciata per abitudine, non una legge di natura. Il nostro P = 0,13 è sopra, quindi il risultato AI è “non significativo”.

Qui vivono due trappole, entrambe grandi:

• “Significativo” non significa “grande” o “importante”. Con uno studio abbastanza grande, anche una differenza troppo piccola per contare può superare il test statistico.
• “Non significativo” non significa “dimostrato uguale a zero”. Molto spesso significa “questo studio non riusciva a dirlo”. Assenza di evidenza non è evidenza di assenza.

Per questo, quando puoi, l’intervallo di confidenza ti dice più del p-value: l’intervallo mostra tutta la gamma di ciò che resta sul tavolo, invece di comprimerla in un timbro passa/non passa.

Dimensione del campione

Quante persone c’erano nello studio, ed erano abbastanza per vedere l’effetto che cercavano? Questa capacità — la capacità di uno studio di rilevare un effetto reale quando esiste — si chiama potenza.

Il trial AI ha arruolato circa 9.700 pazienti, che sembra molto. Ma l’esito negativo era raro — circa il 2% — e gli esiti rari richiedono numeri enormi per essere confrontati in modo affidabile. Gli autori sono rinfrescanti nella loro chiarezza: per confermare un effetto della dimensione che hanno visto, servirebbe qualcosa come 100.000 pazienti. Quindi “non significativo” qui significa soprattutto “questo trial era troppo piccolo per dirlo”, non “non c’è sicuramente nulla”.

Pensa a cercare di sentire un sussurro in una stanza rumorosa. Un ascolto rapido dice poco; possono servire molte ripetizioni attente prima di poter dire onestamente se il sussurro è reale. Uno studio sottodimensionato è un singolo ascolto rapido.

• Che cosa significa: studi più grandi possono vedere effetti più piccoli; esiti rari richiedono studi grandi.
• Che cosa non significa: un risultato nullo da uno studio piccolo non è prova che non sia successo nulla.
• La trappola: trattare “non siamo riusciti a rilevarlo” come “non c’è”.

Leggerli insieme

Ora rileggi lentamente l’intera riga:

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

L’endpoint ti dice che cosa è stato misurato (fallimento terapeutico serio, giudicato in cieco, entro 14 giorni). L’odds ratio e i tassi assoluti ti dicono quanto grande sembra l’effetto — e i tassi assoluti tengono onesto il rapporto (2,0% contro 2,2% è minuscolo). L’intervallo di confidenza ti dice quanto siamo sicuri (non molto — include “nessun effetto”). Il p-value ti avverte di non scommettere contro il caso (0,13 è facile da produrre per fortuna). E la dimensione del campione ti dice che tipo di “no” è questo (troppo piccolo per dirlo, non prova che non ci sia nulla).

Messi insieme, quella riga intimidatoria dice qualcosa di molto preciso e molto modesto: in questo trial, lo strumento potrebbe aiutare un po’, potrebbe non fare nulla, e non possiamo ancora dire quale delle due cose sia vera — e per dirlo servirebbe uno studio molto più grande.

Non è un fallimento. È un risultato onesto, riportato onestamente. Nessun singolo numero nel fascio avrebbe potuto dirtelo. Servivano tutti, letti insieme — ed è proprio questo il punto, e il motivo per cui non stampiamo mai il numero senza la lettura in linguaggio semplice accanto.

Sei domande, non una formula

Non esiste una ricetta a punteggio che trasformi un risultato in un verdetto — chiunque te ne offra una sta vendendo qualcosa. Quello che puoi portare con te è una breve lista di domande. Non producono una risposta; ti tengono onesto.

1. Che cosa è stato davvero misurato, ed era deciso in anticipo? (endpoint)
2. Quanto è grande l’effetto — e quali sono i numeri reali in ciascun gruppo? (odds ratio; assoluto vs relativo)
3. L’intervallo di confidenza include “nessun effetto”?
4. Che cosa sta dicendo davvero il p-value — e “significativo” viene confuso con “importante”?
5. Lo studio era abbastanza grande per vedere l’effetto che stava cercando? (potenza)
6. E la domanda dietro tutte le altre: che cosa non mostra questo studio?

Falle, con questo spirito, e non avrai più bisogno che un titolo ti dica che cosa significa uno studio. Puoi leggerlo da solo.