Cum să citești un rezultat clinic

Endpoint

Înainte ca un număr să însemne ceva, întreabă: un număr despre ce?

Lucrul pe care un studiu îl măsoară și îl numără este endpointul lui. Tot restul — raportul, intervalul, p-value-ul — este despre acel rezultat ales. Schimbă endpointul și fiecare număr se schimbă odată cu el.

În trialul AI, endpointul principal a fost eșecul terapeutic în 14 zile — decis înainte de începerea trialului și judecat de un panel de clinicieni care nu știau ce pacienți folosiseră AI. Ultimul detaliu contează: un rezultat fixat în avans și evaluat în orb este mult mai greu de păcălit decât unul ales după ce rezultatele sunt deja văzute.

Uită-te ce se întâmplă când un studiu are mai multe endpointuri. Într-un trial cu vaccin împotriva norovirusului pe care l-am acoperit, vaccinul a fost testat în două feluri deodată: a oprit boala propriu-zisă (gastroenterita) și a oprit infecția detectabilă de un test de laborator? L-a ratat pe primul și l-a atins pe al doilea. Ambele rezultate sunt reale; pur și simplu răspund la întrebări diferite. Endpointul principal ales dinainte a fost cel despre boală — deci, raportat onest, trialul și-a ratat endpointul primar, chiar dacă a făcut clar ceva.

• Ce înseamnă: endpointul este tabela de scor. Citește-l primul.
• Ce nu înseamnă: un rezultat bun pe o măsură secundară sau aleasă după nu este același lucru cu atingerea celei principale, preînregistrate.
• Capcana: un titlu poate cita endpointul care sună cel mai bine. Întreabă mereu ce a fost măsurat de fapt și dacă era rezultatul la care cercetătorii se angajaseră în avans.

Odds ratio

Odds ratio 0,77. Un odds ratio este un singur număr care compară două grupuri. Regula rapidă:

• 1,0 înseamnă nicio diferență între grupuri.
• sub 1,0 înseamnă că evenimentul a fost mai puțin comun în grupul tratat.
• peste 1,0 înseamnă că a fost mai comun.

Deci 0,77 spune că grupul AI a avut cam trei sferturi din odds-urile unui rezultat rău comparativ cu grupul control — dacă numărul este real. Ține minte acel „dacă”; piesele următoare sunt modul în care îl verificăm.

Micul „ajustat” — a din aOR — înseamnă că cercetătorii au folosit statistica pentru a ține cont de alte diferențe între grupuri, aici faptul că unele clinici porneau diferit de altele. Vei întâlni rude apropiate ale odds ratio-ului: risk ratio (RR) și hazard ratio (HR). Sunt calculate diferit, dar le citești la fel: 1,0 este linia „nicio diferență”.

• Ce înseamnă: un „cât mai mult sau mai puțin” compact între două grupuri.
• Ce nu înseamnă: nu îți spune cât de comun a fost evenimentul sau câți oameni reali sunt afectați. Un raport ascunde baseline-ul.
• Capcana: „odds cu 25% mai mici” sună dramatic. Dacă contează depinde de cât de comun era rezultatul la început — exact următorul număr.

Absolut vs relativ

Acesta este punctul care păcălește aproape pe toată lumea, deci merită să încetinim.

Ia numerele despre norovirus. Boala a apărut la 56,9% din grupul placebo și 44,7% din grupul vaccinat. Poți descrie același decalaj în două feluri oneste:

• Absolut: cu 12,2 puncte procentuale mai jos (56,9 minus 44,7).
• Relativ: cu aproximativ 21% mai jos (12,2 este cam o cincime din 56,9).

Ambele sunt adevărate. Descriu același rezultat. Și se simt complet diferit — exact de aceea numărul relativ, care sună mai mare, este favoritul comunicatelor de presă.

„Puncte procentuale” și „procente” nu sunt aceleași cuvinte. Trecerea de la o dobândă de 5% la 4% este o scădere de un punct procentual, dar o reducere de 20% a dobânzii pe care o plătești. A le amesteca este felul în care o schimbare mică este vândută ca una uriașă.

Cel mai clar avertisment vine de la evenimente rare. O „reducere de 50%” sună enorm. Dar dacă evenimentul se întâmpla la 2 oameni din 1.000 și acum se întâmplă la 1 din 1.000, acel 50% este o persoană la o mie. Înapoi la trialul AI, odds ratio-ul (0,77) suna ca o îmbunătățire de 23% — dar în termeni absoluți rezultatul rău s-a întâmplat la 2,0% din grupul control și 2,2% din grupul AI, un decalaj de o fracțiune de procent. (Procentele brute și estimările ajustate pot arăta în direcții diferite când grupurile diferă; de aceea ambele trebuie citite atent — aici 0,77 ajustat înclină într-o direcție, iar ratele brute în cealaltă.)

• Ce înseamnă: găsește mereu numerele absolute — ratele reale din fiecare grup.
• Ce nu înseamnă: un număr relativ mare nu promite o schimbare mare în lumea reală.
• Capcana: cifre relative fără baseline. Dacă cineva îți dă doar o reducere procentuală, întreabă „din câți, și cât de comun era deja?”

Interval de încredere

IC 95% 0,55–1,08. Numărul singur (0,77) este cea mai bună estimare unică a studiului. Intervalul de încredere este plaja de valori care sunt încă rezonabil compatibile cu datele. Un interval îngust înseamnă că studiul a prins bine răspunsul; unul larg înseamnă „onest, nu suntem siguri”.

O întrebare face cea mai mare parte a muncii aici: include intervalul „niciun efect”? Pentru un raport, „niciun efect” este 1,0. Intervalul nostru merge de la 0,55 la 1,08 — trece peste 1,0. Deci datele sunt compatibile cu un beneficiu real (0,55), cu nimic (1,0) și chiar cu un mic rău (1,08). Când intervalul include niciun efect, nu poți revendica un efect — punct. Studiul pur și simplu nu a fixat rezultatul.

Compară cele două endpointuri din norovirus, din același trial:

• Boală: diferență 12,2 puncte procentuale, IC 95% de la -4,24 la 28,61. Plaja trece peste zero (nicio diferență), deci rezultatul este incert.
• Infecție: diferență 23,6 puncte procentuale, IC 95% de la 7,4 la 38,0. Plaja este întreagă peste zero, deci acesta este un semnal real.

Același studiu, același vaccin, două intervale, două verdicte diferite. Intervalul este locul unde trăiește onestitatea.

• Ce înseamnă: cât de siguri suntem, exprimat ca interval.
• Ce nu înseamnă: estimarea punctuală nu este „răspunsul”, iar cele două capete nu sunt la fel de probabile — valorile aproape de mijloc sunt mai plauzibile.
• Capcana: citirea numărului singur și ignorarea plajei. Plaja este ideea.

P-value

P = 0,13. P-value-ul răspunde la o întrebare îngustă și alunecoasă: dacă nu ar exista cu adevărat niciun efect, cât de des ar produce purul noroc singur un decalaj cel puțin atât de mare? P = 0,13 înseamnă cam 13% din timp — destul de comun încât să nu putem exclude o întâmplare.

Prin obicei vechi, cercetătorii numesc adesea un rezultat „statistic semnificativ” când P este sub 0,05. Ajută să știi că 0,05 este o convenție — o linie trasată din obișnuință, nu o lege a naturii. P = 0,13 al nostru este peste ea, deci rezultatul AI este „nesemnificativ”.

Două capcane trăiesc aici, ambele mari:

• „Semnificativ” nu înseamnă „mare” sau „important”. Cu un studiu suficient de mare, chiar și o diferență prea mică pentru a conta poate trece testul statistic.
• „Nesemnificativ” nu înseamnă „dovedit zero”. Foarte des înseamnă „acest studiu nu a putut spune”. Absența dovezii nu este dovada absenței.

De aceea, când poți, intervalul de încredere îți spune mai mult decât p-value-ul: intervalul arată întreaga gamă a lucrurilor încă posibile, în loc să o comprime într-o ștampilă de trece/nu trece.

Dimensiunea eșantionului

Câți oameni au fost în studiu și a fost destul ca să vadă efectul pe care îl căutau? Această capacitate — capacitatea unui studiu de a detecta un efect real când există — se numește putere.

Trialul AI a înscris aproximativ 9.700 de pacienți, ceea ce sună mult. Dar rezultatul rău era rar — în jur de 2% — iar rezultatele rare cer numere enorme pentru a fi comparate fiabil. Autorii sunt surprinzător de direcți: pentru a confirma un efect de dimensiunea pe care au văzut-o, ai avea nevoie de ceva ca 100.000 de pacienți. Deci „nesemnificativ” aici înseamnă mai ales „acest trial a fost prea mic ca să spună”, nu „sigur nu este nimic”.

Gândește-te că încerci să auzi o șoaptă într-o cameră zgomotoasă. O ascultare rapidă spune puțin; s-ar putea să ai nevoie de multe repetări atente înainte să poți spune onest dacă șoapta este reală. Un studiu subdimensionat este o singură ascultare rapidă.

• Ce înseamnă: studiile mai mari pot vedea efecte mai mici; rezultatele rare cer studii mari.
• Ce nu înseamnă: un rezultat nul dintr-un studiu mic nu este dovadă că nu s-a întâmplat nimic.
• Capcana: să tratezi „nu am putut detecta” ca „nu există”.

Citite împreună

Acum citește din nou, încet, întreaga linie:

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

Endpointul îți spune ce a fost măsurat (eșec terapeutic serios, judecat în orb, în 14 zile). Odds ratio-ul și ratele absolute îți spun cât de mare pare efectul — iar ratele absolute țin raportul onest (2,0% vs 2,2% este minuscul). Intervalul de încredere îți spune cât de siguri suntem (nu prea — include „niciun efect”). P-value-ul te avertizează să nu pariezi împotriva norocului (0,13 este ușor de produs din întâmplare). Iar dimensiunea eșantionului îți spune ce fel de „nu” este acesta (prea mic ca să spună, nu dovada că nu e nimic).

Puse împreună, acea linie intimidantă spune ceva foarte precis și foarte modest: în acest trial, instrumentul ar putea ajuta puțin, ar putea să nu facă nimic și încă nu putem spune care — iar pentru a spune, ai avea nevoie de un studiu mult mai mare.

Nu este un eșec. Este un rezultat onest, raportat onest. Niciun număr singur din pachet nu ți-ar fi putut spune asta. Aveai nevoie de toate, citite împreună — exact acesta este punctul și motivul pentru care nu tipărim niciodată numărul fără lectura în limbaj simplu lângă el.

Șase întrebări, nu o formulă

Nu există o rețetă de scor care transformă un rezultat în verdict — oricine îți oferă una vinde ceva. Ce poți lua cu tine este o listă scurtă de întrebări. Nu produc un răspuns; te țin onest.

1. Ce a fost măsurat de fapt și era decis în avans? (endpoint)
2. Cât de mare este efectul — și care sunt numerele reale din fiecare grup? (odds ratio; absolut vs relativ)
3. Include intervalul de încredere „niciun efect”?
4. Ce spune de fapt p-value-ul — și „semnificativ” este confundat cu „important”?
5. A fost studiul destul de mare ca să vadă efectul pe care îl căuta? (putere)
6. Și întrebarea din spatele tuturor celorlalte: ce nu arată acest studiu?

Pune-le, în acest spirit, și nu mai ai nevoie de un titlu care să-ți spună ce înseamnă un studiu. Îl poți citi singur.