Comment lire un résultat clinique

Critère

Avant qu’un chiffre signifie quoi que ce soit, demandez : un chiffre sur quoi ?

Ce qu’une étude mesure et compte est son critère. Tout le reste — le ratio, la plage, la p-value — concerne ce résultat choisi. Changez le critère et tous les chiffres changent avec lui.

Dans l’essai sur l’IA, le critère principal était l’échec thérapeutique dans les 14 jours — décidé avant le début de l’essai et jugé par un panel de cliniciens qui ne savaient pas quels patients avaient utilisé l’IA. Ce dernier détail compte : un résultat fixé à l’avance et noté en aveugle est beaucoup plus difficile à manipuler soi-même qu’un résultat choisi après avoir vu les données.

Regardez ce qui se passe quand une étude a plus d’un critère. Dans un essai de vaccin contre le norovirus que nous avons couvert, le vaccin a été testé de deux façons à la fois : empêchait-il la vraie maladie (gastro-entérite) et empêchait-il l’infection détectable par un test de laboratoire ? Il a manqué le premier et atteint le second. Les deux résultats sont réels ; ils répondent simplement à des questions différentes. Le critère principal choisi à l’avance par l’essai était la maladie — donc, rapporté honnêtement, l’essai a manqué son critère principal même s’il a clairement fait quelque chose.

• Ce que cela signifie : le critère est le tableau de score. Lisez-le d’abord.
• Ce que cela ne signifie pas : un bon résultat sur une mesure secondaire ou choisie après coup n’est pas la même chose que réussir le critère principal pré-enregistré.
• Le piège : un titre peut citer le critère qui sonne le mieux. Demandez toujours ce qui a réellement été mesuré, et si c’était le résultat auquel les chercheurs s’étaient engagés à l’avance.

Odds ratio

Odds ratio 0,77. Un odds ratio est un chiffre qui compare deux groupes. La règle pratique :

• 1,0 signifie aucune différence entre les groupes.
• sous 1,0 signifie que l’événement était moins fréquent dans le groupe traité.
• au-dessus de 1,0 signifie qu’il était plus fréquent.

Donc 0,77 dit que le groupe IA avait environ trois quarts des odds d’un mauvais résultat par rapport au groupe contrôle — si le chiffre est réel. Gardez ce « si » ; les pièces suivantes expliquent comment le vérifier.

Le petit « ajusté » — le a de aOR — signifie que les chercheurs ont utilisé des statistiques pour tenir compte d’autres différences entre les groupes, ici le fait que certaines cliniques n’étaient pas semblables au départ. Vous rencontrerez des cousins proches de l’odds ratio : le risk ratio (RR) et le hazard ratio (HR). Ils se calculent autrement, mais se lisent de la même manière : 1,0 est la ligne « pas de différence ».

• Ce que cela signifie : un « combien en plus ou en moins » compact entre deux groupes.
• Ce que cela ne signifie pas : cela ne dit pas à quel point l’événement était fréquent, ni combien de vraies personnes sont touchées. Un ratio cache sa base.
• Le piège : « 25 % d’odds en moins » semble spectaculaire. Son importance dépend de la fréquence initiale du résultat — le chiffre suivant.

Absolu contre relatif

C’est celui qui trompe presque tout le monde, donc il vaut la peine de ralentir.

Prenez les chiffres du norovirus. La maladie est survenue chez 56,9 % du groupe placebo et 44,7 % du groupe vacciné. Vous pouvez décrire le même écart de deux façons honnêtes :

• Absolue : 12,2 points de pourcentage de moins (56,9 moins 44,7).
• Relative : environ 21 % de moins (12,2 est à peu près un cinquième de 56,9).

Les deux sont vrais. Ils décrivent le même résultat. Et ils donnent une impression complètement différente — exactement pourquoi le chiffre qui sonne le plus grand, le relatif, est le favori des communiqués.

« Points de pourcentage » et « pour cent » ne sont pas les mêmes mots. Passer d’un taux d’intérêt de 5 % à 4 % est une baisse d’un point de pourcentage, mais une réduction de 20 % de l’intérêt payé. Les mélanger est la manière de vendre un petit changement comme un grand.

L’avertissement le plus clair vient des événements rares. Une « réduction de 50 % » paraît énorme. Mais si l’événement arrivait à 2 personnes sur 1 000 et arrive maintenant à 1 sur 1 000, ces 50 % sont une personne par millier. Dans l’essai IA, l’odds ratio (0,77) ressemblait à une amélioration de 23 % — pourtant, en termes absolus, le mauvais résultat est arrivé chez 2,0 % du groupe contrôle et 2,2 % du groupe IA, un écart d’une fraction de pour cent. Les pourcentages bruts et les estimations ajustées peuvent pointer dans des directions différentes quand les groupes diffèrent ; c’est pourquoi il faut lire les deux attentivement — ici, le 0,77 ajusté penche d’un côté et les taux bruts de l’autre.

• Ce que cela signifie : trouvez toujours les chiffres absolus — les vrais taux dans chaque groupe.
• Ce que cela ne signifie pas : un grand chiffre relatif ne promet pas un grand changement réel.
• Le piège : des chiffres relatifs sans base. Si quelqu’un vous donne seulement une réduction en pourcentage, demandez « sur combien, et à quel point était-ce déjà fréquent ? »

Intervalle de confiance

IC 95 % 0,55 à 1,08. Le chiffre unique (0,77) est la meilleure estimation ponctuelle de l’étude. L’intervalle de confiance est la plage de valeurs qui restent raisonnablement compatibles avec les données. Un intervalle étroit signifie que l’étude a bien cerné la réponse ; un intervalle large signifie « honnêtement, nous ne sommes pas sûrs ».

Une question fait l’essentiel du travail ici : l’intervalle inclut-il « pas d’effet » ? Pour un ratio, « pas d’effet » vaut 1,0. Notre intervalle va de 0,55 à 1,08 — il chevauche 1,0. Les données sont donc compatibles avec un vrai bénéfice (0,55), avec rien du tout (1,0), et même avec un léger dommage (1,08). Quand l’intervalle inclut l’absence d’effet, vous ne pouvez pas revendiquer un effet — point. L’étude n’a simplement pas fixé le résultat.

Comparez les deux critères du norovirus, dans le même essai :

• Maladie : différence de 12,2 points de pourcentage, IC 95 % -4,24 à 28,61. Cette plage croise zéro (pas de différence), donc le résultat est incertain.
• Infection : différence de 23,6 points de pourcentage, IC 95 % 7,4 à 38,0. Cette plage est entièrement au-dessus de zéro, donc c’est un vrai signal.

Même étude, même vaccin, deux intervalles, deux verdicts différents. L’intervalle est l’endroit où vit l’honnêteté.

• Ce que cela signifie : à quel point nous sommes sûrs, exprimé comme une plage.
• Ce que cela ne signifie pas : l’estimation ponctuelle n’est pas « la réponse », et les deux extrémités ne sont pas également probables — les valeurs près du milieu sont plus plausibles.
• Le piège : lire le chiffre unique et ignorer la plage. La plage est le point.

P-value

P = 0,13. La p-value répond à une question étroite et glissante : s’il n’y avait vraiment aucun effet, à quelle fréquence le hasard seul produirait-il un écart au moins aussi grand ? P = 0,13 signifie environ 13 % du temps — assez fréquent pour que nous ne puissions pas exclure un coup de chance.

Par convention ancienne, les chercheurs appellent souvent un résultat « statistiquement significatif » quand P est sous 0,05. Il faut savoir que 0,05 est une convention — une ligne tirée par habitude, pas une loi de la nature. Notre P = 0,13 est au-dessus, donc le résultat IA est « non significatif ».

Deux pièges vivent ici, et ils sont grands :

• « Significatif » ne veut pas dire « grand » ou « important ». Avec une étude assez grande, une différence trop petite pour compter peut quand même franchir la ligne.
• « Non significatif » ne veut pas dire « prouvé nul ». Très souvent, cela veut dire « cette étude ne pouvait pas dire ». L’absence de preuve n’est pas une preuve d’absence.

C’est pourquoi, quand vous le pouvez, l’intervalle de confiance vous en dit plus que la p-value : il montre toute la plage de ce qui reste sur la table, au lieu de la réduire à un tampon réussite/échec.

Taille d’échantillon

Combien de personnes étaient dans l’étude, et était-ce assez pour voir l’effet cherché ? Cette capacité — la capacité d’une étude à détecter un effet réel quand il existe — s’appelle sa puissance.

L’essai IA a inclus environ 9 700 patients, ce qui semble beaucoup. Mais le mauvais résultat était rare — environ 2 % — et les événements rares exigent des nombres énormes pour être comparés de façon fiable. Les auteurs sont rafraîchissants de franchise : pour confirmer un effet de la taille observée, il faudrait quelque chose comme 100 000 patients. Donc « non significatif » ici veut surtout dire « cet essai était trop petit pour dire », pas « il n’y a certainement rien ».

Imaginez écouter un chuchotement dans une pièce bruyante. Une écoute rapide vous dit peu ; il vous faut peut-être beaucoup de répétitions attentives avant de pouvoir dire honnêtement si le chuchotement est réel. Une étude sous-puissante est une seule écoute rapide.

• Ce que cela signifie : les grandes études peuvent voir de plus petits effets ; les événements rares exigent de grandes études.
• Ce que cela ne signifie pas : un résultat nul dans une petite étude n’est pas la preuve que rien ne s’est passé.
• Le piège : traiter « nous n’avons pas pu le détecter » comme « ce n’est pas là ».

Les lire ensemble

Relisez maintenant toute la ligne, lentement :

l’odds ratio ajusté était de 0,77 (intervalle de confiance à 95 % 0,55 à 1,08, P = 0,13)

Le critère dit ce qui a été mesuré (un échec thérapeutique sérieux, jugé en aveugle, dans les 14 jours). L’odds ratio et les taux absolus disent à quoi ressemble la taille de l’effet — et les taux absolus gardent le ratio honnête (2,0 % contre 2,2 %, c’est minuscule). L’intervalle de confiance dit à quel point nous sommes sûrs (pas beaucoup — il inclut « pas d’effet »). La p-value vous avertit de ne pas parier contre le hasard (0,13 est facile à produire par chance). Et la taille d’échantillon dit quel type de « non » c’est (trop petit pour dire, pas la preuve de rien).

Mis ensemble, cette ligne intimidante dit quelque chose de très précis et très modeste : dans cet essai, l’outil pourrait aider un peu, pourrait ne rien faire, et nous ne pouvons pas encore dire lequel — et pour le dire, il faudrait une étude beaucoup plus grande.

Ce n’est pas un échec. C’est un résultat honnête, rapporté honnêtement. Aucun chiffre isolé du paquet n’aurait pu vous dire cela. Il fallait les lire tous ensemble — c’est tout le point, et la raison pour laquelle nous n’imprimons jamais le chiffre sans sa lecture en langage clair à côté.

Six questions, pas une formule

Il n’y a pas de recette de score qui transforme un résultat en verdict — quiconque vous en propose une vend quelque chose. Ce que vous pouvez garder avec vous est une courte liste de questions. Elles ne produisent pas une réponse ; elles vous gardent honnête.

1. Qu’est-ce qui a réellement été mesuré, et était-ce décidé à l’avance ? (critère)
2. Quelle est la taille de l’effet — et quels sont les vrais chiffres dans chaque groupe ? (odds ratio ; absolu contre relatif)
3. L’intervalle de confiance inclut-il « pas d’effet » ?
4. Que dit vraiment la p-value — et confond-on « significatif » avec « important » ?
5. L’étude était-elle assez grande pour voir l’effet qu’elle cherchait ? (puissance)
6. Et la question derrière toutes les autres : qu’est-ce que cette étude ne montre pas ?

Posez-les, dans cet esprit, et vous n’avez plus besoin qu’un titre vous dise ce qu’une étude signifie. Vous pouvez la lire vous-même.