Wie man ein klinisches Ergebnis liest

Endpunkt

Bevor irgendeine Zahl etwas bedeutet, frage: eine Zahl über was?

Das, was eine Studie misst und zählt, ist ihr Endpunkt. Alles andere — das Verhältnis, der Bereich, der p-Wert — bezieht sich auf dieses eine gewählte Ergebnis. Ändere den Endpunkt, und jede Zahl ändert sich mit.

In der KI-Studie war der Hauptendpunkt Therapieversagen innerhalb von 14 Tagen — festgelegt, bevor die Studie begann, und beurteilt von einem Gremium aus Klinikern, die nicht wussten, welche Patienten die KI genutzt hatten. Dieses letzte Detail zählt: Ein Ergebnis, das im Voraus festgelegt und blind bewertet wird, eignet sich viel schlechter zur Selbsttäuschung als eines, das man nach Vorliegen der Resultate auswählt.

Sieh, was passiert, wenn eine Studie mehr als einen Endpunkt hat. In einer Norovirus-Impfstoffstudie, über die wir berichtet haben, wurde der Impfstoff auf zwei Arten gleichzeitig getestet: Verhinderte er die tatsächliche Erkrankung (Gastroenteritis), und verhinderte er die durch einen Labortest nachweisbare Infektion? Er verfehlte das Erste und traf das Zweite. Beide Ergebnisse sind real; sie beantworten einfach verschiedene Fragen. Der im Voraus gewählte Hauptendpunkt war der zur Erkrankung — also verfehlte die Studie, ehrlich berichtet, ihren primären Endpunkt, obwohl sie eindeutig etwas bewirkt hat.

• Was es bedeutet: Der Endpunkt ist die Anzeigetafel. Lies ihn zuerst.
• Was es nicht bedeutet: Ein gutes Ergebnis bei einem sekundären oder nachträglich gewählten Maß ist nicht dasselbe wie das Treffen des primären, vorab registrierten.
• Die Falle: Eine Schlagzeile kann den Endpunkt zitieren, der am besten klingt. Frage immer, was tatsächlich gemessen wurde und ob es das Ergebnis war, auf das sich die Forschenden im Voraus festgelegt hatten.

Odds Ratio

Odds Ratio 0,77. Eine Odds Ratio ist eine einzige Zahl, die zwei Gruppen vergleicht. Die Faustregel:

• 1,0 bedeutet keinen Unterschied zwischen den Gruppen.
• unter 1,0 bedeutet, das Ereignis war in der behandelten Gruppe seltener.
• über 1,0 bedeutet, es war häufiger.

Also sagt 0,77, dass die KI-Gruppe rund drei Viertel der Odds für ein schlechtes Ergebnis hatte im Vergleich zur Kontrollgruppe — wenn die Zahl echt ist. (Halte dieses „wenn“ fest; die nächsten Teile zeigen, wie wir es prüfen.)

Das kleine „adjustiert“ — das a in aOR — bedeutet, dass die Forschenden mit Statistik andere Unterschiede zwischen den Gruppen berücksichtigt haben, hier die Tatsache, dass einige Kliniken anders starteten als andere. Du wirst nahe Verwandte der Odds Ratio treffen: das Risk Ratio (RR) und das Hazard Ratio (HR). Sie werden anders berechnet, aber du liest sie gleich: 1,0 ist die Linie „kein Unterschied“.

• Was es bedeutet: ein kompaktes „wie viel mehr oder weniger“ zwischen zwei Gruppen.
• Was es nicht bedeutet: Es sagt dir nicht, wie häufig das Ereignis war oder wie viele echte Menschen betroffen sind. Ein Verhältnis verbirgt seine Ausgangsbasis.
• Die Falle: „25 % niedrigere Odds“ klingt dramatisch. Ob es überhaupt zählt, hängt davon ab, wie häufig das Ergebnis von vornherein war — und das ist genau die nächste Zahl.

Absolut vs. relativ

Dies ist der Punkt, der fast alle täuscht, also lohnt es sich, langsamer zu machen.

Nimm die Norovirus-Zahlen. Erkrankung trat bei 56,9 % der Placebogruppe und 44,7 % der geimpften Gruppe auf. Du kannst dieselbe Differenz auf zwei ehrliche Arten beschreiben:

• Absolut: 12,2 Prozentpunkte niedriger (56,9 minus 44,7).
• Relativ: etwa 21 % niedriger (12,2 ist ungefähr ein Fünftel von 56,9).

Beide sind wahr. Sie beschreiben das identische Ergebnis. Und sie fühlen sich völlig verschieden an — genau deshalb ist die größer klingende, die relative Zahl, der Liebling von Pressemitteilungen.

„Prozentpunkte“ und „Prozent“ sind nicht dasselbe. Von einem Zinssatz von 5 % auf 4 % zu gehen, ist ein Rückgang um einen Prozentpunkt, aber ein Schnitt von 20 % bei den Zinsen, die du zahlst. Sie zu verwechseln ist der Weg, auf dem eine winzige Änderung als riesige verkauft wird.

Die klarste Warnung kommt von seltenen Ereignissen. Eine „Reduktion um 50 %“ klingt enorm. Aber wenn das Ereignis 2 von 1.000 Personen betraf und jetzt 1 von 1.000 betrifft, sind diese 50 % eine Person pro tausend. Zurück zur KI-Studie: Die Odds Ratio (0,77) klang wie eine Verbesserung um 23 % — doch in absoluten Zahlen trat das schlechte Ergebnis bei 2,0 % der Kontrollgruppe und 2,2 % der KI-Gruppe auf, eine Differenz von einem Bruchteil eines Prozents. (Rohe Prozentsätze und adjustierte Schätzungen können in verschiedene Richtungen weisen, wenn sich die Gruppen unterscheiden; deshalb müssen beide sorgfältig gelesen werden — hier neigt sich die adjustierte 0,77 in die eine Richtung und die rohen Raten in die andere.)

• Was es bedeutet: Finde immer die absoluten Zahlen — die tatsächlichen Raten in jeder Gruppe.
• Was es nicht bedeutet: Eine große relative Zahl verspricht keine große Veränderung in der realen Welt.
• Die Falle: relative Zahlen ohne Ausgangsbasis. Wenn dir jemand nur eine prozentuale Reduktion nennt, frage: „von wie vielen, und wie häufig war es schon?“

Konfidenzintervall

95%-Konfidenzintervall 0,55 bis 1,08. Die einzelne Zahl (0,77) ist die beste Einzelschätzung der Studie. Das Konfidenzintervall ist der Bereich von Werten, die ebenfalls vernünftig mit den Daten vereinbar sind. Ein enges Intervall bedeutet, dass die Studie die Antwort festgenagelt hat; ein weites bedeutet „wir sind ehrlich gesagt nicht sicher“.

Eine Frage leistet hier die meiste Arbeit: Schließt das Intervall „keinen Effekt“ ein? Für ein Verhältnis ist „kein Effekt“ 1,0. Unser Intervall reicht von 0,55 bis 1,08 — es liegt beidseitig um 1,0. Die Daten sind also vereinbar mit einem echten Nutzen (0,55), mit gar nichts (1,0) und sogar mit einem leichten Schaden (1,08). Wenn das Intervall keinen Effekt einschließt, kannst du keinen Effekt behaupten — Punkt. Die Studie hat das Ergebnis einfach nicht festgenagelt.

Vergleiche die zwei Norovirus-Endpunkte aus derselben Studie:

• Erkrankung: Differenz 12,2 Prozentpunkte, 95%-KI −4,24 bis 28,61. Dieser Bereich überquert null (kein Unterschied), also ist das Ergebnis unsicher.
• Infektion: Differenz 23,6 Prozentpunkte, 95%-KI 7,4 bis 38,0. Dieser Bereich liegt vollständig über null, also ist dies ein echtes Signal.

Dieselbe Studie, derselbe Impfstoff, zwei Intervalle, zwei verschiedene Urteile. Im Intervall wohnt die Ehrlichkeit.

• Was es bedeutet: wie sicher wir sind, ausgedrückt als Bereich.
• Was es nicht bedeutet: Die Punktschätzung ist nicht „die Antwort“, und die beiden Enden sind nicht gleich wahrscheinlich — Werte nahe der Mitte sind plausibler.
• Die Falle: die einzelne Zahl lesen und den Bereich ignorieren. Der Bereich ist der Punkt.

P-Wert

P = 0,13. Der p-Wert beantwortet eine enge, glitschige Frage: Wenn es wirklich keinen Effekt gäbe, wie oft würde der reine Zufall allein eine mindestens so große Differenz erzeugen? P = 0,13 bedeutet etwa 13 % der Fälle — häufig genug, dass wir einen Zufallstreffer nicht ausschließen können.

Aus langer Gewohnheit nennen Forschende ein Ergebnis oft „statistisch signifikant“, wenn P unter 0,05 liegt. Es hilft zu wissen, dass 0,05 eine Konvention ist — eine aus Gewohnheit gezogene Linie, kein Naturgesetz. Unser P = 0,13 liegt darüber, also ist das KI-Ergebnis „nicht signifikant“.

Hier wohnen zwei Fallen, und beide sind groß:

• „Signifikant“ bedeutet nicht „groß“ oder „wichtig“. Mit einer ausreichend großen Studie kann ein Unterschied, der zu klein ist, um zu zählen, trotzdem die Hürde nehmen.
• „Nicht signifikant“ bedeutet nicht „als null bewiesen“. Sehr oft bedeutet es „diese Studie konnte es nicht sagen“. Das Fehlen von Belegen ist kein Beleg für das Fehlen.

Deshalb sagt dir das Konfidenzintervall, wann immer möglich, mehr als der p-Wert: Das Intervall zeigt die ganze Bandbreite dessen, was noch auf dem Tisch liegt, statt sie zu einem einzigen Bestanden/Durchgefallen-Stempel zusammenzupressen.

Stichprobengröße

Wie viele Menschen waren in der Studie, und reichte das, um den gesuchten Effekt zu sehen? Diese Fähigkeit — die Fähigkeit einer Studie, einen echten Effekt zu erkennen, wenn es ihn gibt — heißt ihre Teststärke.

Die KI-Studie schloss etwa 9.700 Patienten ein, was nach viel klingt. Aber das schlechte Ergebnis war selten — rund 2 % — und seltene Ergebnisse brauchen enorme Zahlen, um zuverlässig verglichen zu werden. Die Autoren sind erfrischend deutlich: Um einen Effekt in der Größe, die sie sahen, zu bestätigen, bräuchte man etwa 100.000 Patienten. „Nicht signifikant“ bedeutet hier also vor allem „diese Studie war zu klein, um es zu sagen“, nicht „da ist definitiv nichts“.

Stell dir vor, du lauschst in einem lauten Raum auf ein Flüstern. Einmal kurz hinhören sagt dir wenig; du brauchst vielleicht viele sorgfältige Wiederholungen, bevor du ehrlich sagen kannst, ob das Flüstern echt ist. Eine Studie mit zu geringer Teststärke ist ein einziges kurzes Hinhören.

• Was es bedeutet: Größere Studien können kleinere Effekte sehen; seltene Ergebnisse verlangen große Studien.
• Was es nicht bedeutet: Ein Nullergebnis aus einer kleinen Studie ist kein Beweis, dass nichts geschehen ist.
• Die Falle: „wir konnten es nicht nachweisen“ als „es ist nicht da“ zu behandeln.

Alles zusammen lesen

Lies nun die ganze Zeile noch einmal, langsam:

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

Der Endpunkt sagt dir, was gemessen wurde (schweres Therapieversagen, blind beurteilt, innerhalb von 14 Tagen). Die Odds Ratio und die absoluten Raten sagen dir, wie groß der Effekt aussieht — und die absoluten Raten halten das Verhältnis ehrlich (2,0 % gegenüber 2,2 % ist winzig). Das Konfidenzintervall sagt dir, wie sicher wir sind (nicht sehr — es schließt „keinen Effekt“ ein). Der p-Wert warnt dich, nicht gegen den Zufall zu wetten (0,13 ist leicht durch Glück zu erzeugen). Und die Stichprobengröße sagt dir, welche Art von „Nein“ das ist (zu klein, um es zu sagen, nicht bewiesen, dass nichts da ist).

Zusammengenommen sagt diese einschüchternde Zeile etwas recht Präzises und recht Bescheidenes: In dieser einen Studie könnte das Werkzeug ein wenig helfen, könnte nichts bewirken, und wir können noch nicht sagen, was von beidem — und um es zu sagen, bräuchte man eine weit größere Studie.

Das ist kein Scheitern. Es ist ein ehrliches Ergebnis, ehrlich berichtet. Keine einzelne Zahl im Bündel hätte dir das sagen können. Du brauchtest sie alle, zusammen gelesen — was der ganze Sinn ist und der Grund, warum wir die Zahl nie ohne die Lesart in einfacher Sprache daneben abdrucken.

Sechs Fragen, keine Formel

Es gibt kein Punkterezept, das ein Ergebnis in ein Urteil verwandelt — wer dir eines anbietet, verkauft etwas. Was du mitnehmen kannst, ist eine kurze Liste von Fragen. Sie liefern keine Antwort; sie halten dich ehrlich.

1. Was wurde tatsächlich gemessen, und war es im Voraus festgelegt? (Endpunkt)
2. Wie groß ist der Effekt — und was sind die echten Zahlen in jeder Gruppe? (Odds Ratio; absolut vs. relativ)
3. Schließt das Konfidenzintervall „keinen Effekt“ ein?
4. Was sagt der p-Wert wirklich — und wird „signifikant“ mit „wichtig“ verwechselt?
5. War die Studie groß genug, um den gesuchten Effekt zu sehen? (Teststärke)
6. Und die Frage hinter allen anderen: Was zeigt diese Studie nicht?

Stelle diese Fragen in diesem Geist, und du brauchst keine Schlagzeile mehr, die dir sagt, was eine Studie bedeutet. Du kannst sie selbst lesen.