Як чытаць клінічны вынік

Канчатковая кропка

Перш чым любы лік набудзе сэнс, спытайце: лік пра што?

Тое, што даследаванне вымярае і падлічвае, — гэта яго канчатковая кропка. Усё астатняе — суадносіны, дыяпазон, p-значэнне — датычыцца гэтага аднаго выбранага зыходу. Змяніце канчатковую кропку — і кожны лік зменіцца разам з ёй.

У выпрабаванні ШІ галоўнай канчатковай кропкай была неэфектыўнасць лячэння на працягу 14 дзён — вызначаная да пачатку выпрабавання і ацэненая групай урачоў, якія не ведалі, хто з пацыентаў выкарыстоўваў ШІ. Гэтая апошняя дэталь важная: зыход, зафіксаваны загадзя і ацэнены ўсляпую, ашукаць сябе значна цяжэй, чым зыход, выбраны ўжо пасля таго, як даныя атрыманы.

Паглядзіце, што адбываецца, калі ў даследавання больш за адну канчатковую кропку. У выпрабаванні вакцыны супраць наравіруса, пра якое мы пісалі, вакцыну правяралі адразу двума спосабамі: ці спыняе яна саму хваробу (гастраэнтэрыт) і ці спыняе інфекцыю, якую выяўляе лабараторны тэст? Першае яна не выканала, а другое — так. Абодва вынікі рэальныя; проста яны адказваюць на розныя пытанні. Загадзя выбранай галоўнай канчатковай кропкай была хвароба, таму, калі паведамляць сумленна, выпрабаванне не дасягнула сваёй першаснай канчатковай кропкі, хаця відавочна нешта зрабіла.

• Што гэта значыць: канчатковая кропка — гэта табло. Чытайце яе першай.
• Чаго гэта не значыць: добры вынік па другасным ці выбраным заднім лікам паказчыку — не тое самае, што трапленне ў галоўны, загадзя зарэгістраваны.
• Пастка: загаловак можа працытаваць тую канчатковую кропку, якая гучыць найлепш. Заўсёды пытайцеся, што менавіта вымяралі і ці быў гэта той зыход, да якога даследчыкі абавязаліся загадзя.

Суадносіны шанцаў

Суадносіны шанцаў 0,77. Суадносіны шанцаў (СШ) — гэта адзін лік, які параўноўвае дзве групы. Практычнае правіла:

• 1,0 азначае адсутнасць розніцы паміж групамі.
• менш за 1,0 азначае, што падзея была радзейшай у групе лячэння.
• больш за 1,0 азначае, што яна была часцейшай.

Такім чынам, 0,77 кажа, што ў групы ШІ шанцы кепскага зыходу былі прыблізна тры чвэрці ад шанцаў кантрольнай групы — калі гэты лік сапраўдны. (Трымайце гэтае «калі»; наступныя часткі — тое, як мы яго правяраем.)

Маленькае «скарэктаваныя» — літара «с» у сСШ — азначае, што даследчыкі з дапамогай статыстыкі ўлічылі іншыя адрозненні паміж групамі, тут — тое, што некаторыя клінікі першапачаткова былі непадобныя да іншых. Вам сустрэнуцца блізкія родзічы суадносін шанцаў: адносная рызыка (RR) і суадносіны рызык (HR). Іх вылічваюць па-рознаму, але чытаюць аднолькава: 1,0 — гэта лінія «няма розніцы».

• Што гэта значыць: кампактнае «наколькі больш ці менш» паміж дзвюма групамі.
• Чаго гэта не значыць: яно не кажа, наколькі частай была падзея ці колькіх рэальных людзей гэта закранае. Суадносіны хаваюць сваю зыходную частату.
• Пастка: «на 25% менш шанцаў» гучыць драматычна. Ці мае гэта наогул значэнне, залежыць ад таго, наколькі частым зыход быў першапачаткова, — а гэта якраз наступны лік.

Абсалютнае супраць адноснага

Менавіта гэта збівае з панталыку амаль кожнага, таму варта збавіць тэмп.

Возьмем лікі па наравірусе. Хвароба ўзнікла ў 56,9% групы плацэба і ў 44,7% прышчэпленай групы. Адзін і той самы разрыў можна сумленна апісаць двума спосабамі:

• Абсалютны: на 12,2 працэнтнага пункта ніжэй (56,9 мінус 44,7).
• Адносны: прыблізна на 21% ніжэй (12,2 — гэта прыблізна пятая частка ад 56,9).

Абодва правільныя. Яны апісваюць адзін і той самы вынік. І адчуваюцца зусім па-рознаму — вось чаму той лік, што гучыць большым, адносны, — улюбёнец прэс-рэлізаў.

«Працэнтныя пункты» і «працэнты» — не адно і тое ж. Зніжэнне працэнтнай стаўкі з 5% да 4% — гэта падзенне на адзін працэнтны пункт, але скарачэнне на 20% тых працэнтаў, што вы плаціце. Іх блытаніна — тое, як крыхітную змену прадаюць як велізарную.

Найясней папярэджанне — ад рэдкіх падзей. «Зніжэнне на 50%» гучыць каласальна. Але калі падзея здаралася ў 2 чалавек з 1000, а цяпер здараецца ў 1 з 1000, гэтыя 50% — адзін чалавек на тысячу. Вернемся да выпрабавання ШІ: суадносіны шанцаў (0,77) гучалі як паляпшэнне на 23% — але ў абсалютных велічынях кепскі зыход здарыўся ў 2,0% кантрольнай групы і ў 2,2% групы ШІ, разрыў — доля аднаго працэнта. (Сырыя працэнты і скарэктаваныя ацэнкі могуць паказваць у розныя бакі, калі групы адрозніваюцца; таму і тыя, і другія трэба чытаць уважліва — тут скарэктаваныя 0,77 хіляцца ў адзін бок, а сырыя частаты — у іншы.)

• Што гэта значыць: заўсёды знаходзьце абсалютныя лікі — фактычныя частаты ў кожнай групе.
• Чаго гэта не значыць: вялікі адносны лік не абяцае вялікай змены ў рэальным жыцці.
• Пастка: адносныя лічбы без зыходнай базы. Калі вам даюць толькі працэнт зніжэння, спытайце: «з колькіх, і наколькі частым гэта было ўжо?»

Даверчы інтэрвал

95% ДІ ад 0,55 да 1,08. Адзін лік (0,77) — гэта найлепшая адзіная здагадка даследавання. Даверчы інтэрвал — гэта дыяпазон значэнняў, якія таксама разумна сумяшчальныя з данымі. Вузкі інтэрвал азначае, што даследаванне прыгвазділа адказ; шырокі — што «мы сумленна не ўпэўнены».

Большую частку працы тут робіць адно пытанне: ці ўключае інтэрвал «адсутнасць эфекту»? Для суадносін «адсутнасць эфекту» — гэта 1,0. Наш інтэрвал ідзе ад 0,55 да 1,08 — ён ахоплівае 1,0. Значыць, даныя сумяшчальныя і са сапраўднай карысцю (0,55), і з поўнай адсутнасцю эфекту (1,0), і нават з лёгкай шкодай (1,08). Калі інтэрвал уключае адсутнасць эфекту, сцвярджаць наяўнасць эфекту нельга — і кропка. Даследаванне проста не прыгвазділа вынік.

Параўнайце дзве канчатковыя кропкі па наравірусе з таго самага выпрабавання:

• Хвароба: розніца 12,2 працэнтнага пункта, 95% ДІ ад −4,24 да 28,61. Гэты дыяпазон перасякае нуль (няма розніцы), таму вынік нявызначаны.
• Інфекцыя: розніца 23,6 працэнтнага пункта, 95% ДІ ад 7,4 да 38,0. Гэты дыяпазон цалкам вышэй за нуль, таму тут — сапраўдны сігнал.

Адно даследаванне, адна вакцына, два інтэрвалы, два розныя выракі. Менавіта ў інтэрвале жыве сумленнасць.

• Што гэта значыць: наколькі мы ўпэўнены, выражанае дыяпазонам.
• Чаго гэта не значыць: кропкавая ацэнка — не «адказ», і два канцы не раўнаверагодныя: значэнні бліжэй да сярэдзіны праўдападобнейшыя.
• Пастка: чытаць адзін лік і ігнараваць дыяпазон. Дыяпазон і ёсць сутнасць.

P-значэнне

P = 0,13. P-значэнне адказвае на вузкае, слізкае пытанне: калі б эфекту насамрэч не было, як часта адна толькі выпадковасць давала б разрыў прынамсі такой велічыні? P = 0,13 азначае прыблізна ў 13% выпадкаў — досыць часта, каб мы не маглі выключыць выпадковасць.

Па даўнім звычаі даследчыкі часта называюць вынік «статыстычна значным», калі P менш за 0,05. Карысна ведаць, што 0,05 — гэта дамоўленасць, рыса, праведзеная па звычцы, а не закон прыроды. Наша P = 0,13 вышэй за яе, таму вынік ШІ «незначны».

Тут жывуць дзве пасткі, і абедзве вялікія:

• «Значны» не значыць «вялікі» ці «важны». Пры досыць вялікім даследаванні розніца, занадта малая, каб мець значэнне, усё роўна можа пераадолець планку.
• «Незначны» не значыць «даказана, што нуль». Вельмі часта гэта значыць «гэтае даследаванне не змагло вызначыць». Адсутнасць доказаў — не доказ адсутнасці.

Вось чаму, калі можаце, даверчы інтэрвал кажа вам больш, чым p-значэнне: інтэрвал паказвае ўвесь дыяпазон таго, што яшчэ застаецца на стале, замест таго каб згарнуць яго ў адзіны штамп «прайшоў / не прайшоў».

Памер выбаркі

Колькі людзей было ў даследаванні і ці дастаткова гэтага, каб убачыць шуканы эфект? Гэтую здольнасць — здольнасць даследавання выявіць сапраўдны эфект, калі ён ёсць, — называюць яго магутнасцю.

У выпрабаванне ШІ ўключылі каля 9700 пацыентаў, што гучыць як мноства. Але кепскі зыход быў рэдкім — каля 2%, — а рэдкія зыходы патрабуюць велізарных лікаў, каб надзейна іх параўноўваць. Аўтары асвяжальна прамыя наконт гэтага: каб пацвердзіць эфект таго памеру, што яны ўбачылі, спатрэбілася б нешта накшталт 100 000 пацыентаў. Так што «незначны» тут пераважна азначае «гэтае выпрабаванне было замалое, каб вызначыць», а не «там дакладна нічога няма».

Уявіце, што вы ўслухоўваецеся ў шэпт у шумным пакоі. Адно хуткае прыслухоўванне кажа мала; можа спатрэбіцца шмат уважлівых паўтораў, перш чым вы сумленна скажаце, ці рэальны шэпт. Даследаванне з недастатковай магутнасцю — гэта адно хуткае прыслухоўванне.

• Што гэта значыць: большыя даследаванні бачаць меншыя эфекты; рэдкія зыходы патрабуюць вялікіх даследаванняў.
• Чаго гэта не значыць: нулявы вынік малога даследавання — не доказ таго, што нічога не адбылося.
• Пастка: прымаць «мы не змаглі гэта выявіць» за «гэтага няма».

Чытаем разам

Цяпер прачытайце ўвесь радок яшчэ раз, павольна:

скарэктаваныя суадносіны шанцаў склалі 0,77 (95% даверчы інтэрвал ад 0,55 да 1,08, P = 0,13)

Канчатковая кропка кажа, што вымяралі (сур’ёзная неэфектыўнасць лячэння, ацэненая ўсляпую, на працягу 14 дзён). Суадносіны шанцаў і абсалютныя частаты кажуць, наколькі вялікім выглядае эфект, — і абсалютныя частаты трымаюць суадносіны сумленнымі (2,0% супраць 2,2% — крыхітная розніца). Даверчы інтэрвал кажа, наколькі мы ўпэўнены (не вельмі — ён уключае «адсутнасць эфекту»). P-значэнне папярэджвае не ставіць супраць выпадковасці (0,13 лёгка атрымаць па ўдачы). А памер выбаркі кажа, якога роду гэта «не» (замалое, каб вызначыць, а не даказана, што нічога).

Сабраны разам, гэты страшны радок кажа нешта цалкам дакладнае і цалкам сціплае: у гэтым адным выпрабаванні інструмент можа крыху дапамагаць, можа не рабіць нічога, і мы пакуль не можам сказаць, што менавіта, — а каб сказаць, спатрэбілася б значна большае даследаванне.

Гэта не правал. Гэта сумленны вынік, паведамлены сумленна. Ніводзін лік у звязцы паасобку не сказаў бы вам гэтага. Спатрэбіліся ўсе яны, прачытаныя разам, — у чым і ўся сутнасць, і прычына, чаму мы ніколі не друкуем лік без прачытання простай мовай побач з ім.

Шэсць пытанняў, а не формула

Няма рэцэпту падліку, які ператварае вынік у вырак, — кожны, хто прапануе вам такі, нешта прадае. Што вы можаце насіць з сабой — гэта кароткі спіс пытанняў. Яны не выдаюць адказ; яны трымаюць вас сумленным.

1. Што менавіта вымяралі і ці было гэта вырашана загадзя? (канчатковая кропка)
2. Наколькі вялікі эфект — і якія рэальныя лікі ў кожнай групе? (суадносіны шанцаў; абсалютнае супраць адноснага)
3. Ці ўключае даверчы інтэрвал «адсутнасць эфекту»?
4. Што насамрэч кажа p-значэнне — і ці не блытаюць «значны» з «важным»?
5. Ці было даследаванне досыць вялікім, каб убачыць эфект, на які палявала? (магутнасць)
6. І пытанне за ўсімі іншымі: чаго гэтае даследаванне не паказвае?

Задавайце іх — у гэтым духу — і вам больш не патрэбны загаловак, каб сказаць, што значыць даследаванне. Вы можаце прачытаць яго самі.