Hoe je een klinisch resultaat leest

Eindpunt

Voordat welk getal dan ook iets betekent, vraag: een getal over wat?

Wat een studie meet en telt, is haar eindpunt. Al het andere — de ratio, het bereik, de p-waarde — gaat over dat ene gekozen resultaat. Verander het eindpunt en elk getal verandert mee.

In de AI-studie was het hoofdeindpunt therapiefalen binnen 14 dagen — vastgesteld voordat de studie begon, en beoordeeld door een panel van clinici die niet wisten welke patiënten de AI hadden gebruikt. Dat laatste detail telt: een resultaat dat vooraf is vastgelegd en blind wordt beoordeeld, is veel moeilijker om jezelf mee voor de gek te houden dan een resultaat dat je kiest nadat de uitkomsten binnen zijn.

Kijk wat er gebeurt als een studie meer dan één eindpunt heeft. In een norovirus-vaccinstudie waarover we berichtten, werd het vaccin op twee manieren tegelijk getest: stopte het de daadwerkelijke ziekte (gastro-enteritis), en stopte het de infectie die met een labtest aantoonbaar is? Het miste de eerste en raakte de tweede. Beide resultaten zijn echt; ze beantwoorden simpelweg verschillende vragen. Het vooraf gekozen hoofdeindpunt was dat van de ziekte — dus, eerlijk gerapporteerd, miste de studie haar primaire eindpunt, ook al deed ze duidelijk iets.

• Wat het betekent: het eindpunt is het scorebord. Lees het eerst.
• Wat het niet betekent: een goed resultaat op een secundaire of achteraf gekozen maat is niet hetzelfde als het raken van het primaire, vooraf geregistreerde eindpunt.
• De valkuil: een kop kan het eindpunt aanhalen dat het beste klinkt. Vraag altijd wat er werkelijk is gemeten, en of het de uitkomst was waaraan de onderzoekers zich vooraf hadden verbonden.

Odds ratio

Odds ratio 0,77. Een odds ratio is één getal dat twee groepen vergelijkt. De vuistregel:

• 1,0 betekent geen verschil tussen de groepen.
• onder 1,0 betekent dat de gebeurtenis minder vaak voorkwam in de behandelde groep.
• boven 1,0 betekent dat ze vaker voorkwam.

Dus 0,77 zegt dat de AI-groep ongeveer driekwart van de odds op een slechte uitkomst had vergeleken met de controlegroep — als het getal echt is. (Houd dat “als” vast; de volgende stukken laten zien hoe we het controleren.)

Het kleine “gecorrigeerd” — de a (adjusted) in aOR — betekent dat de onderzoekers statistiek gebruikten om rekening te houden met andere verschillen tussen de groepen, hier het feit dat sommige klinieken anders begonnen dan andere. Je komt naaste verwanten van de odds ratio tegen: de risk ratio (RR) en de hazard ratio (HR). Ze worden anders berekend, maar je leest ze op dezelfde manier: 1,0 is de lijn van “geen verschil”.

• Wat het betekent: een compacte “hoeveel meer of minder” tussen twee groepen.
• Wat het niet betekent: het zegt je niet hoe vaak de gebeurtenis voorkwam, of hoeveel echte mensen erdoor worden geraakt. Een ratio verbergt zijn uitgangswaarde.
• De valkuil: “25% lagere odds” klinkt dramatisch. Of het überhaupt iets uitmaakt, hangt af van hoe vaak de uitkomst om te beginnen al voorkwam — en dat is precies het volgende getal.

Absoluut vs. relatief

Dit is het punt dat bijna iedereen misleidt, dus het loont om te vertragen.

Neem de norovirus-getallen. Ziekte trad op bij 56,9% van de placebogroep en 44,7% van de gevaccineerde groep. Je kunt datzelfde verschil op twee eerlijke manieren beschrijven:

• Absoluut: 12,2 procentpunten lager (56,9 min 44,7).
• Relatief: ongeveer 21% lager (12,2 is ruwweg een vijfde van 56,9).

Beide zijn waar. Ze beschrijven exact hetzelfde resultaat. En ze voelen totaal anders — precies daarom is het groter klinkende, het relatieve getal, de lieveling van persberichten.

“Procentpunten” en “procent” zijn niet hetzelfde. Van een rente van 5% naar 4% gaan is een daling van één procentpunt, maar een daling van 20% in de rente die je betaalt. Ze door elkaar halen is hoe een minieme verandering als een enorme wordt verkocht.

De duidelijkste waarschuwing komt van zeldzame gebeurtenissen. Een “reductie van 50%” klinkt enorm. Maar als de gebeurtenis 2 op de 1.000 mensen trof en nu 1 op de 1.000 treft, is die 50% één persoon per duizend. Terug naar de AI-studie: de odds ratio (0,77) klonk als een verbetering van 23% — maar in absolute termen trad de slechte uitkomst op bij 2,0% van de controlegroep en 2,2% van de AI-groep, een verschil van een fractie van één procent. (Ruwe percentages en gecorrigeerde schattingen kunnen in verschillende richtingen wijzen als de groepen verschillen; daarom moeten beide zorgvuldig worden gelezen — hier neigt de gecorrigeerde 0,77 de ene kant op en de ruwe cijfers de andere.)

• Wat het betekent: vind altijd de absolute getallen — de werkelijke percentages in elke groep.
• Wat het niet betekent: een groot relatief getal belooft geen grote verandering in de echte wereld.
• De valkuil: relatieve cijfers zonder uitgangswaarde. Als iemand je alleen een procentuele reductie geeft, vraag dan: “van hoeveel, en hoe vaak kwam het al voor?”

Betrouwbaarheidsinterval

95%-BI 0,55 tot 1,08. Het enkele getal (0,77) is de beste puntschatting van de studie. Het betrouwbaarheidsinterval is het bereik van waarden die ook redelijk verenigbaar zijn met de data. Een smal interval betekent dat de studie het antwoord heeft vastgepind; een breed interval betekent “we zijn er eerlijk gezegd niet zeker van”.

Eén vraag doet hier het meeste werk: bevat het interval “geen effect”? Voor een ratio is “geen effect” 1,0. Ons interval loopt van 0,55 tot 1,08 — het ligt aan weerszijden van 1,0. De data zijn dus verenigbaar met een echt voordeel (0,55), met helemaal niets (1,0), en zelfs met een lichte schade (1,08). Wanneer het interval geen effect bevat, kun je geen effect claimen — punt. De studie heeft het resultaat simpelweg niet vastgepind.

Vergelijk de twee norovirus-eindpunten, uit dezelfde studie:

• Ziekte: verschil 12,2 procentpunten, 95%-BI −4,24 tot 28,61. Dat bereik kruist nul (geen verschil), dus het resultaat is onzeker.
• Infectie: verschil 23,6 procentpunten, 95%-BI 7,4 tot 38,0. Dat bereik ligt volledig boven nul, dus dit is een echt signaal.

Dezelfde studie, hetzelfde vaccin, twee intervallen, twee verschillende oordelen. In het interval woont de eerlijkheid.

• Wat het betekent: hoe zeker we zijn, uitgedrukt als een bereik.
• Wat het niet betekent: de puntschatting is niet “het antwoord”, en de twee uiteinden zijn niet even waarschijnlijk — waarden dichter bij het midden zijn plausibeler.
• De valkuil: het enkele getal lezen en het bereik negeren. Het bereik is de kern.

P-waarde

P = 0,13. De p-waarde beantwoordt een smalle, glibberige vraag: als er werkelijk geen effect was, hoe vaak zou puur toeval alleen dan een verschil van minstens deze grootte opleveren? P = 0,13 betekent ongeveer 13% van de tijd — vaak genoeg dat we een toevalstreffer niet kunnen uitsluiten.

Van oudsher noemen onderzoekers een resultaat vaak “statistisch significant” wanneer P onder 0,05 ligt. Het helpt te weten dat 0,05 een conventie is — een lijn die uit gewoonte is getrokken, geen natuurwet. Onze P = 0,13 ligt erboven, dus het AI-resultaat is “niet significant”.

Hier wonen twee valkuilen, en beide zijn groot:

• “Significant” betekent niet “groot” of “belangrijk”. Met een voldoende grote studie kan een verschil dat te klein is om ertoe te doen, toch de drempel halen.
• “Niet significant” betekent niet “bewezen nul”. Heel vaak betekent het “deze studie kon het niet zeggen”. Afwezigheid van bewijs is geen bewijs van afwezigheid.

Daarom vertelt het betrouwbaarheidsinterval je, wanneer het kan, meer dan de p-waarde: het interval toont het hele bereik van wat nog op tafel ligt, in plaats van het samen te persen tot één geslaagd/gezakt-stempel.

Steekproefgrootte

Hoeveel mensen zaten er in de studie, en was dat genoeg om het effect te zien waarnaar ze zochten? Dat vermogen — het vermogen van een studie om een echt effect op te sporen als dat bestaat — heet haar statistische power (of onderscheidingsvermogen).

De AI-studie includeerde ongeveer 9.700 patiënten, wat veel lijkt. Maar de slechte uitkomst was zeldzaam — rond de 2% — en zeldzame uitkomsten vergen enorme aantallen om betrouwbaar te vergelijken. De auteurs zijn verfrissend openhartig: om een effect van de grootte die ze zagen te bevestigen, zou je zoiets als 100.000 patiënten nodig hebben. “Niet significant” betekent hier dus vooral “deze studie was te klein om het te zeggen”, niet “er is zeker niets”.

Denk aan luisteren naar een gefluister in een lawaaierige kamer. Eén keer snel luisteren zegt je weinig; je hebt misschien veel zorgvuldige herhalingen nodig voordat je eerlijk kunt zeggen of het gefluister echt is. Een studie met te weinig power is één keer snel luisteren.

• Wat het betekent: grotere studies kunnen kleinere effecten zien; zeldzame uitkomsten vragen grote studies.
• Wat het niet betekent: een nulresultaat uit een kleine studie is geen bewijs dat er niets gebeurde.
• De valkuil: “we konden het niet aantonen” behandelen als “het is er niet”.

Alles samen lezen

Lees nu de hele regel nog eens, langzaam:

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

Het eindpunt vertelt je wat er is gemeten (ernstig therapiefalen, blind beoordeeld, binnen 14 dagen). De odds ratio en de absolute percentages vertellen je hoe groot het effect lijkt — en de absolute percentages houden de ratio eerlijk (2,0% tegenover 2,2% is minuscuul). Het betrouwbaarheidsinterval vertelt je hoe zeker we zijn (niet erg — het bevat “geen effect”). De p-waarde waarschuwt je niet tegen het toeval te wedden (0,13 is makkelijk door geluk te produceren). En de steekproefgrootte vertelt je wat voor soort “nee” dit is (te klein om het te zeggen, niet bewezen dat er niets is).

Samen zegt die intimiderende regel iets heel precies en heel bescheiden: in deze ene studie zou het hulpmiddel een beetje kunnen helpen, zou het niets kunnen doen, en we kunnen nog niet zeggen welke van de twee — en om het te zeggen, zou je een veel grotere studie nodig hebben.

Dat is geen mislukking. Het is een eerlijk resultaat, eerlijk gerapporteerd. Geen enkel getal in het bundeltje had je dat kunnen vertellen. Je had ze allemaal nodig, samen gelezen — wat de hele kern is, en de reden waarom we het getal nooit afdrukken zonder de lezing in gewone taal ernaast.

Zes vragen, geen formule

Er bestaat geen scoreformule die een resultaat in een oordeel verandert — wie je er een aanbiedt, verkoopt iets. Wat je wel kunt meenemen, is een korte lijst met vragen. Ze leveren geen antwoord; ze houden je eerlijk.

1. Wat is er werkelijk gemeten, en was het vooraf bepaald? (eindpunt)
2. Hoe groot is het effect — en wat zijn de echte getallen in elke groep? (odds ratio; absoluut vs. relatief)
3. Bevat het betrouwbaarheidsinterval “geen effect”?
4. Wat zegt de p-waarde werkelijk — en wordt “significant” verward met “belangrijk”?
5. Was de studie groot genoeg om het effect te zien waarnaar ze op jacht was? (statistische power)
6. En de vraag achter alle andere: wat laat deze studie niet zien?

Stel die vragen, in die geest, en je hebt geen kop meer nodig die je vertelt wat een studie betekent. Je kunt het zelf lezen.