Bir klinik sonuç nasıl okunur

Sonlanım noktası

Herhangi bir sayı bir şey ifade etmeden önce sorun: ne hakkında bir sayı?

Bir çalışmanın ölçtüğü ve saydığı şey, onun sonlanım noktasıdır. Diğer her şey — oran, aralık, p değeri — o seçilmiş tek sonuçla ilgilidir. Sonlanım noktasını değiştirin, her sayı onunla birlikte değişir.

Yapay zekâ denemesinde ana sonlanım noktası 14 gün içinde tedavi başarısızlığıydı — deneme başlamadan önce kararlaştırılmış ve hangi hastaların yapay zekâyı kullandığını bilmeyen bir hekim kurulunca değerlendirilmiş. O son ayrıntı önemlidir: önceden sabitlenmiş ve kör puanlanmış bir sonuçla kendinizi kandırmanız, sonuçlar geldikten sonra seçilmiş bir sonuca göre çok daha zordur.

Bir çalışmanın birden fazla sonlanım noktası olduğunda ne olduğuna dikkat edin. Haberini yaptığımız bir norovirüs aşısı denemesinde, aşı aynı anda iki biçimde sınandı: gerçek hastalığı (gastroenteriti) durdurdu mu ve bir laboratuvar testiyle saptanabilen enfeksiyonu durdurdu mu? İlkini ıskaladı, ikincisini tutturdu. İki sonuç da gerçektir; yalnızca farklı soruları yanıtlarlar. Denemenin önceden seçilmiş ana sonlanım noktası hastalık olanıydı — dolayısıyla, dürüstçe bildirildiğinde, deneme açıkça bir şey yapmış olsa da birincil sonlanım noktasını ıskaladı.

• Ne anlama gelir: sonlanım noktası, skor tabelasıdır. Önce onu okuyun.
• Ne anlama gelmez: ikincil ya da sonradan belirlenmiş bir ölçütte iyi bir sonuç, ana, önceden kayıtlı olanı tutturmakla aynı şey değildir.
• Tuzak: bir manşet, kulağa en iyi gelen sonlanım noktasını alıntılayabilir. Her zaman gerçekte neyin ölçüldüğünü ve bunun, araştırmacıların önceden bağlandığı sonuç olup olmadığını sorun.

Odds oranı

Odds oranı 0,77. Bir odds oranı, iki grubu karşılaştıran tek bir sayıdır. Genel kural:

• 1,0, gruplar arasında fark olmadığı anlamına gelir.
• 1,0’ın altı, olayın tedavi edilen grupta daha az yaygın olduğu anlamına gelir.
• 1,0’ın üstü, daha yaygın olduğu anlamına gelir.

Yani 0,77, yapay zekâ grubunun kötü bir sonuç odds’unun, kontrol grubuna kıyasla kabaca dörtte üçü olduğunu söyler — eğer sayı gerçekse. (O "eğer"i aklınızda tutun; sonraki parçalar onu nasıl denetlediğimizdir.)

Küçük “düzeltilmiş” sözcüğü — aOR’daki a, “adjusted” — araştırmacıların, gruplar arasındaki diğer farkları, burada bazı kliniklerin başlangıçta diğerlerinden farklı olmasını hesaba katmak için istatistik kullandığı anlamına gelir. Odds oranının yakın akrabalarıyla karşılaşacaksınız: risk oranı (RR) ve tehlike oranı (HR). Farklı hesaplanırlar ama aynı biçimde okunurlar: 1,0, “fark yok” çizgisidir.

• Ne anlama gelir: iki grup arasında sıkışık bir “ne kadar daha çok ya da daha az”.
• Ne anlama gelmez: olayın ne kadar yaygın olduğunu ya da kaç gerçek insanın etkilendiğini söylemez. Bir oran, kendi temel düzeyini gizler.
• Tuzak: “%25 daha düşük odds” kulağa çarpıcı gelir. Hiç önemli olup olmadığı, sonucun en başta ne kadar yaygın olduğuna bağlıdır — ki bu, hemen sıradaki sayıdır.

Mutlak mı, göreli mi

Bu, neredeyse herkesi kandıran şeydir, bu yüzden yavaşlamaya değer.

Norovirüs sayılarını ele alın. Hastalık, plasebo grubunun %56,9’unda ve aşılanmış grubun %44,7’sinde görüldü. Aynı farkı dürüst iki biçimde anlatabilirsiniz:

• Mutlak: 12,2 yüzde puanı daha düşük (56,9 eksi 44,7).
• Göreli: yaklaşık %21 daha düşük (12,2, 56,9’un kabaca beşte biri).

İkisi de doğrudur. Aynı sonucu anlatırlar. Ve tamamen farklı hissettirirler — kulağa daha büyük gelenin, yani göreli sayının, basın bültenlerinin gözdesi olmasının nedeni tam da budur.

“Yüzde puanı” ile “yüzde” aynı sözcükler değildir. %5 faiz oranından %4’e inmek bir yüzde puanı düşüştür, ama ödediğiniz faizde %20’lik bir kesinti. Bunları birbirine karıştırmak, minik bir değişikliğin nasıl kocaman bir değişiklik gibi satıldığıdır.

En açık uyarı, ender olaylardan gelir. “%50’lik bir azalma” kulağa muazzam gelir. Ama olay 1.000 kişiden 2’sinde oluyorken şimdi 1.000’de 1’inde oluyorsa, o %50, binde bir kişidir. Yapay zekâ denemesine dönersek, odds oranı (0,77) %23’lük bir iyileşme gibi geliyordu — oysa mutlak olarak kötü sonuç, kontrol grubunun %2,0’ında ve yapay zekâ grubunun %2,2’sinde oldu; yüzde birin bir kesri kadar bir fark. (Ham yüzdeler ve düzeltilmiş tahminler, gruplar farklı olduğunda farklı yönleri gösterebilir; ikisinin de dikkatle okunması gerekmesinin nedeni budur — burada düzeltilmiş 0,77 bir yöne, ham oranlar öbür yöne eğilir.)

• Ne anlama gelir: her zaman mutlak sayıları bulun — her gruptaki gerçek oranları.
• Ne anlama gelmez: büyük bir göreli sayı, gerçek dünyada büyük bir değişiklik vaat etmez.
• Tuzak: temel düzeyi olmayan göreli rakamlar. Biri size yalnızca bir yüzde azalma verirse, sorun: “kaç kişiden ve zaten ne kadar yaygındı?”

Güven aralığı

%95 GA 0,55 ile 1,08. Tek sayı (0,77), çalışmanın en iyi tek tahminidir. Güven aralığı, verilerle makul biçimde bağdaşan değerlerin de aralığıdır. Dar bir aralık, çalışmanın yanıtı sabitlediği anlamına gelir; geniş bir aralık, “dürüst olmak gerekirse emin değiliz” demektir.

Burada işin çoğunu tek bir soru yapar: aralık "etki yok"u içeriyor mu? Bir oran için “etki yok” 1,0’dır. Bizim aralığımız 0,55’ten 1,08’e uzanır — 1,0’ın iki yanına taşar. Yani veriler; gerçek bir yararla (0,55), hiçbir şeyle (1,0) ve hatta hafif bir zararla (1,08) bağdaşır. Aralık "etki yok"u içerdiğinde, bir etki iddia edemezsiniz — nokta. Çalışma, sonucu basitçe sabitlememiştir.

Aynı denemeden, iki norovirüs sonlanım noktasını karşılaştırın:

• Hastalık: 12,2 yüzde puanı fark, %95 GA −4,24 ile 28,61. Bu aralık sıfırı geçer (fark yok), bu yüzden sonuç belirsizdir.
• Enfeksiyon: 23,6 yüzde puanı fark, %95 GA 7,4 ile 38,0. Bu aralık tümüyle sıfırın üzerinde, bu yüzden bu, gerçek bir sinyaldir.

Aynı çalışma, aynı aşı, iki aralık, iki farklı hüküm. Dürüstlüğün yaşadığı yer, aralıktır.

• Ne anlama gelir: ne kadar emin olduğumuz, bir aralık olarak ifade edilmiş.
• Ne anlama gelmez: nokta tahmini “yanıt” değildir ve iki uç eşit olası değildir — ortaya yakın değerler daha akla yatkındır.
• Tuzak: tek sayıyı okuyup aralığı görmezden gelmek. Asıl mesele aralığın kendisidir.

P değeri

P = 0,13. P değeri, dar ve kaygan bir soruyu yanıtlar: gerçekten hiç etki olmasaydı, yalnızca saf rastlantı en az bu kadar büyük bir farkı ne sıklıkta üretirdi? P = 0,13, zamanın yaklaşık %13’ü demektir — bir tesadüfü dışlayamayacağımız kadar yaygın.

Uzun süredir gelen bir gelenekle, araştırmacılar P 0,05’in altında olduğunda bir sonucu çoğu kez “istatistiksel olarak anlamlı” diye adlandırır. 0,05’in bir uzlaşım olduğunu bilmek işe yarar — alışkanlıkla çizilmiş bir çizgi, doğanın bir yasası değil. Bizim P = 0,13’ümüz onun üstünde durur, bu yüzden yapay zekâ sonucu "anlamlı değil"dir.

Burada iki tuzak yaşar ve ikisi de büyük:

• “Anlamlı”, “büyük” ya da “önemli” demek değildir. Yeterince büyük bir çalışmayla, önemsenmeyecek kadar küçük bir fark bile çıtayı aşabilir.
• “Anlamlı değil”, “sıfır olduğu kanıtlandı” demek değildir. Çoğu kez “bu çalışma ayırt edemedi” demektir. Kanıtın yokluğu, yokluğun kanıtı değildir.

İşte bu yüzden, yapabildiğinizde, güven aralığı size p değerinden daha fazlasını söyler: aralık, hepsini tek bir geçti/kaldı damgasına indirgemek yerine, hâlâ masada olan şeyin bütün aralığını gösterir.

Örneklem büyüklüğü

Çalışmada kaç kişi vardı ve bu, aradıkları etkiyi görmek için yeterli miydi? O kapasite — bir çalışmanın, gerçek bir etki varken onu saptayabilme yetisi — onun gücü olarak adlandırılır.

Yapay zekâ denemesine yaklaşık 9.700 hasta alındı, ki bu bol geliyor. Ama kötü sonuç enderdi — yaklaşık %2 — ve ender sonuçları güvenilir biçimde karşılaştırmak için muazzam sayılar gerekir. Yazarlar bu konuda ferahlatıcı biçimde açık sözlü: gördükleri büyüklükte bir etkiyi doğrulamak için 100.000 hasta gibi bir şey gerekirdi. Yani buradaki “anlamlı değil”, çoğunlukla “bu deneme ayırt edemeyecek kadar küçüktü” demektir, “orada kesinlikle bir şey yok” değil.

Gürültülü bir odada bir fısıltıyı dinlemeye çalıştığınızı düşünün. Hızlı tek bir dinleme size az şey söyler; fısıltının gerçek olup olmadığını dürüstçe söyleyebilmeden önce birçok dikkatli tekrar gerekebilir. Gücü yetersiz bir çalışma, hızlı tek bir dinlemedir.

• Ne anlama gelir: daha büyük çalışmalar daha küçük etkileri görebilir; ender sonuçlar büyük çalışmalar ister.
• Ne anlama gelmez: küçük bir çalışmadan çıkan boş bir sonuç, hiçbir şey olmadığının kanıtı değildir.
• Tuzak: "onu saptayamadık"ı, “o orada yok” gibi ele almak.

Hepsini birlikte okumak

Şimdi bütün satırı yavaşça yeniden okuyun:

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

Sonlanım noktası size neyin ölçüldüğünü söyler (ciddi tedavi başarısızlığı, kör değerlendirilmiş, 14 gün içinde). Odds oranı ile mutlak oranlar size etkinin ne kadar büyük göründüğünü söyler — ve mutlak oranlar oranı dürüst tutar (%2,0’a karşı %2,2 minicik). Güven aralığı size ne kadar emin olduğumuzu söyler (pek değil — "etki yok"u içeriyor). P değeri sizi rastlantıya karşı bahse girmemeniz için uyarır (0,13’ü şans kolayca üretir). Ve örneklem büyüklüğü size bunun ne tür bir “hayır” olduğunu söyler (ayırt edemeyecek kadar küçük, hiçbir şey olmadığı kanıtlanmış değil).

Bir araya getirildiğinde, o ürkütücü satır oldukça kesin ve oldukça alçakgönüllü bir şey söyler: bu tek denemede, araç biraz yardımcı olabilir, hiçbir şey yapmayabilir ve hangisi olduğunu henüz ayırt edemiyoruz — ayırt etmek için çok daha büyük bir çalışma gerekirdi.

Bu bir başarısızlık değildir. Dürüstçe bildirilmiş, dürüst bir sonuçtur. Demetteki hiçbir tek sayı size bunu söyleyemezdi. Hepsine, birlikte okunmuş olarak ihtiyacınız vardı — bütün mesele budur ve sayıyı, yanında sade dille okumasını koymadan asla basmamamızın nedeni de budur.

Altı soru, bir formül değil

Bir sonucu hükme dönüştüren puanlama tarifi yoktur — size böyle bir şey sunan herkes bir şey satıyordur. Yanınızda taşıyabileceğiniz şey, kısa bir sorular listesidir. Bir yanıt üretmezler; sizi dürüst tutarlar.

1. Gerçekte ne ölçüldü ve önceden mi kararlaştırıldı? (sonlanım noktası)
2. Etki ne kadar büyük — ve her gruptaki gerçek sayılar nedir? (odds oranı; mutlak mı, göreli mi)
3. Güven aralığı "etki yok"u içeriyor mu?
4. P değeri gerçekte ne söylüyor — ve “anlamlı”, “önemli” ile karıştırılıyor mu?
5. Çalışma, avladığı etkiyi görmek için yeterince büyük müydü? (güç)
6. Ve diğerlerinin ardındaki soru: bu çalışma neyi göstermiyor?

Bunları, o ruhla sorun, artık bir çalışmanın ne anlama geldiğini söylemesi için bir manşete ihtiyacınız kalmaz. Onu kendiniz okuyabilirsiniz.