Cómo leer un resultado clínico

Endpoint

Antes de que cualquier número signifique algo, pregunta: ¿un número sobre qué?

Lo que un estudio mide y cuenta es su endpoint. Todo lo demás — el ratio, el rango, el valor p — trata de ese resultado elegido. Cambia el endpoint y cada número cambia con él.

En el ensayo de IA, el endpoint principal fue fracaso terapéutico dentro de 14 días: decidido antes de que comenzara el ensayo y juzgado por un panel de clínicos que no sabía qué pacientes habían usado la IA. Ese último detalle importa: un resultado fijado de antemano y puntuado a ciegas es mucho más difícil de autoengañar que uno elegido después de ver los resultados.

Mira qué pasa cuando un estudio tiene más de un endpoint. En un ensayo de vacuna contra el norovirus que cubrimos, la vacuna se probó de dos maneras a la vez: ¿detuvo la enfermedad real (gastroenteritis) y detuvo la infección detectable por una prueba de laboratorio? Falló la primera y acertó la segunda. Ambos resultados son reales; simplemente responden preguntas distintas. El endpoint principal preelegido del ensayo fue el de enfermedad, así que, reportado honestamente, el ensayo falló su endpoint primario aunque claramente hizo algo.

• Qué significa: el endpoint es el marcador. Léelo primero.
• Qué no significa: un buen resultado en una medida secundaria o posterior no es lo mismo que alcanzar la principal y prerregistrada.
• La trampa: un titular puede citar el endpoint que suene mejor. Pregunta siempre qué se midió realmente y si era el resultado al que los investigadores se comprometieron de antemano.

Odds ratio

Odds ratio 0,77. Un odds ratio es un solo número que compara dos grupos. La regla práctica:

• 1,0 significa ninguna diferencia entre los grupos.
• por debajo de 1,0 significa que el evento fue menos común en el grupo tratado.
• por encima de 1,0 significa que fue más común.

Así que 0,77 dice que el grupo IA tuvo aproximadamente tres cuartos de las odds de un mal resultado comparado con el grupo control, si el número es real. Guarda ese «si»; las piezas siguientes son cómo lo comprobamos.

El pequeño «ajustado» — la a en aOR — significa que los investigadores usaron estadísticas para tener en cuenta otras diferencias entre los grupos, aquí el hecho de que algunas clínicas empezaran siendo distintas de otras. Encontrarás parientes cercanos del odds ratio: el risk ratio (RR) y el hazard ratio (HR). Se calculan de manera distinta, pero se leen igual: 1,0 es la línea de «sin diferencia».

• Qué significa: un «cuánto más, o menos» compacto entre dos grupos.
• Qué no significa: no te dice qué tan común era el evento ni cuántas personas reales están afectadas. Un ratio esconde su línea de base.
• La trampa: «25 % menos odds» suena dramático. Que importe depende de cuán común era el resultado desde el principio, que es el número siguiente.

Absoluto frente a relativo

Este es el que engaña a casi todo el mundo, así que vale la pena ir despacio.

Toma los números del norovirus. La enfermedad ocurrió en 56,9 % del grupo placebo y 44,7 % del grupo vacunado. Puedes describir la misma brecha de dos formas honestas:

• Absoluta: 12,2 puntos porcentuales menos (56,9 menos 44,7).
• Relativa: alrededor de 21 % menos (12,2 es aproximadamente una quinta parte de 56,9).

Ambas son ciertas. Describen el mismo resultado. Y se sienten completamente distintas, que es exactamente por qué la que suena más grande, la relativa, es la favorita de los comunicados de prensa.

«Puntos porcentuales» y «por ciento» no son las mismas palabras. Pasar de una tasa de interés de 5 % a 4 % es una bajada de un punto porcentual, pero un recorte de 20 % en el interés que pagas. Mezclarlas es la forma de vender un cambio pequeño como uno enorme.

La advertencia más clara viene de eventos raros. Una «reducción de 50 %» suena enorme. Pero si el evento ocurría en 2 personas de cada 1.000 y ahora ocurre en 1 de cada 1.000, ese 50 % es una persona por mil. En el ensayo de IA, el odds ratio (0,77) sonaba como una mejora de 23 %, pero en términos absolutos el mal resultado ocurrió en 2,0 % del grupo control y 2,2 % del grupo IA, una brecha de una fracción de un por ciento. Los porcentajes crudos y las estimaciones ajustadas pueden apuntar en direcciones distintas cuando los grupos difieren; por eso ambos deben leerse con cuidado: aquí el 0,77 ajustado se inclina a un lado y las tasas crudas al otro.

• Qué significa: busca siempre los números absolutos: las tasas reales en cada grupo.
• Qué no significa: un número relativo grande no promete un gran cambio en el mundo real.
• La trampa: cifras relativas sin línea de base. Si alguien solo te da una reducción porcentual, pregunta «¿de cuántos, y qué tan común era ya?»

Intervalo de confianza

IC 95 % 0,55 a 1,08. El número único (0,77) es la mejor estimación puntual del estudio. El intervalo de confianza es el rango de valores que también son razonablemente compatibles con los datos. Un intervalo estrecho significa que el estudio acotó bien la respuesta; uno amplio significa «honestamente no estamos seguros».

Una pregunta hace la mayor parte del trabajo aquí: ¿incluye el intervalo “sin efecto”? Para un ratio, «sin efecto» es 1,0. Nuestro intervalo va de 0,55 a 1,08: atraviesa 1,0. Así que los datos son compatibles con un beneficio real (0,55), con nada en absoluto (1,0) e incluso con un daño leve (1,08). Cuando el intervalo incluye no efecto, no puedes reclamar un efecto, punto. El estudio simplemente no ha fijado el resultado.

Compara los dos endpoints de norovirus, del mismo ensayo:

• Enfermedad: diferencia de 12,2 puntos porcentuales, IC 95 % -4,24 a 28,61. Ese rango cruza cero (sin diferencia), así que el resultado es incierto.
• Infección: diferencia de 23,6 puntos porcentuales, IC 95 % 7,4 a 38,0. Ese rango está completamente por encima de cero, así que este sí es una señal real.

Mismo estudio, misma vacuna, dos intervalos, dos veredictos distintos. El intervalo es donde vive la honestidad.

• Qué significa: qué tan seguros estamos, expresado como un rango.
• Qué no significa: la estimación puntual no es «la respuesta», y los dos extremos no son igual de probables; los valores cerca del centro son más plausibles.
• La trampa: leer el número único e ignorar el rango. El rango es el punto.

Valor p

P = 0,13. El valor p responde una pregunta estrecha y resbaladiza: si realmente no hubiera efecto, ¿con qué frecuencia produciría solo el azar una brecha al menos así de grande? P = 0,13 significa alrededor de 13 % de las veces: lo bastante común como para que no podamos descartar una casualidad.

Por costumbre antigua, los investigadores suelen llamar «estadísticamente significativo» a un resultado cuando P está por debajo de 0,05. Conviene saber que 0,05 es una convención: una línea trazada por hábito, no una ley de la naturaleza. Nuestro P = 0,13 está por encima, así que el resultado de IA es «no significativo».

Aquí viven dos trampas grandes:

• «Significativo» no significa «grande» ni «importante». Con un estudio suficientemente grande, una diferencia demasiado pequeña para importar puede superar la barra.
• «No significativo» no significa «probado que es cero». Muy a menudo significa «este estudio no pudo decirlo». Ausencia de evidencia no es evidencia de ausencia.

Por eso, cuando puedes, el intervalo de confianza te dice más que el valor p: muestra todo el rango de lo que sigue sobre la mesa, en lugar de colapsarlo en un sello de pasa/no pasa.

Tamaño de muestra

¿Cuántas personas hubo en el estudio, y fue suficiente para ver el efecto que buscaban? Esa capacidad — la capacidad de un estudio para detectar un efecto real cuando existe — se llama potencia.

El ensayo de IA incluyó unos 9.700 pacientes, lo que suena a mucho. Pero el mal resultado era raro — alrededor de 2 % — y los resultados raros necesitan números enormes para compararse con fiabilidad. Los autores son refrescantemente directos: para confirmar un efecto del tamaño que vieron, haría falta algo como 100.000 pacientes. Así que «no significativo» aquí significa sobre todo «este ensayo fue demasiado pequeño para decirlo», no «definitivamente no hay nada».

Piensa en escuchar un susurro en una habitación ruidosa. Una escucha rápida te dice poco; quizá necesitas muchas repeticiones cuidadosas antes de poder decir honestamente si el susurro es real. Un estudio con poca potencia es una sola escucha rápida.

• Qué significa: estudios más grandes pueden ver efectos más pequeños; resultados raros exigen estudios grandes.
• Qué no significa: un resultado nulo de un estudio pequeño no prueba que no haya pasado nada.
• La trampa: tratar «no pudimos detectarlo» como «no está ahí».

Leerlos juntos

Ahora lee toda la línea otra vez, despacio:

el odds ratio ajustado fue 0,77 (intervalo de confianza del 95 % 0,55 a 1,08, P = 0,13)

El endpoint te dice qué se midió (fracaso terapéutico serio, juzgado a ciegas, dentro de 14 días). El odds ratio y las tasas absolutas te dicen qué tan grande parece el efecto, y las tasas absolutas mantienen honesto al ratio (2,0 % frente a 2,2 % es diminuto). El intervalo de confianza te dice qué tan seguros estamos (no mucho: incluye «sin efecto»). El valor p te advierte que no apuestes contra el azar (0,13 es fácil de producir por suerte). Y el tamaño de muestra te dice qué tipo de «no» es este (demasiado pequeño para decirlo, no prueba de que no haya nada).

Junta todo, y esa línea intimidante dice algo bastante preciso y bastante modesto: en este ensayo, la herramienta podría ayudar un poco, podría no hacer nada, y todavía no podemos saber cuál; para saberlo haría falta un estudio mucho mayor.

Eso no es un fracaso. Es un resultado honesto, reportado honestamente. Ningún número individual del paquete podría haberte dicho eso. Necesitabas todos, leídos juntos, que es todo el punto y la razón por la que nunca imprimimos el número sin la lectura en lenguaje claro al lado.

Seis preguntas, no una fórmula

No hay una receta de puntuación que convierta un resultado en veredicto; cualquiera que te ofrezca una está vendiendo algo. Lo que sí puedes llevar contigo es una lista corta de preguntas. No producen una respuesta; te mantienen honesto.

1. ¿Qué se midió realmente, y se decidió de antemano? (endpoint)
2. ¿Qué tan grande es el efecto, y cuáles son los números reales en cada grupo? (odds ratio; absoluto frente a relativo)
3. ¿El intervalo de confianza incluye «sin efecto»?
4. ¿Qué dice realmente el valor p, y se está confundiendo «significativo» con «importante»?
5. ¿El estudio fue lo bastante grande para ver el efecto que buscaba? (potencia)
6. Y la pregunta detrás de todas las demás: ¿qué no muestra este estudio?

Haz esas preguntas, con ese espíritu, y ya no necesitas que un titular te diga qué significa un estudio. Puedes leerlo tú mismo.