臨床結果の読み方

エンドポイント

どの数字も何かを意味するより前に、こう問おう。何についての数字なのか?

研究が測定し数えるものが、そのエンドポイントだ。ほかのすべて — 比、範囲、p値 — は、その一つの選ばれたアウトカムについてのものだ。エンドポイントを変えれば、あらゆる数字がそれとともに変わる。

そのAIの治験では、主要エンドポイントは14日以内の治療の失敗だった — 治験が始まる前に決められ、どの患者がAIを使ったかを知らない臨床医のパネルによって判定された。その最後の細部が重要だ。あらかじめ固定され、盲検で採点されたアウトカムは、結果が出そろった後で選ばれたものよりも、自分をだますことがはるかに難しい。

研究が複数のエンドポイントを持つときに何が起こるかを見てみよう。私たちが報道したノロウイルスのワクチン治験では、ワクチンは一度に二通りの方法で検証された。実際の病気(胃腸炎)を止めたか、そして検査で検出できる感染を止めたか、だ。前者は外し、後者は当てた。どちらの結果も本物であり、ただ異なる問いに答えているだけだ。その治験があらかじめ選んでいた主要エンドポイントは病気のほうだった — だから、正直に報告すれば、その治験は明らかに何かをしたにもかかわらず、主要エンドポイントを外したのだ。

• 意味すること: エンドポイントはスコアボードだ。まずそれを読もう。
• 意味しないこと: 副次的な、あるいは事後の指標での良い結果は、主要な、事前登録された指標を当てることと同じではない。
• 落とし穴: 見出しは、いちばん良く聞こえるエンドポイントを引用できる。実際に何が測定されたのか、そしてそれが研究者があらかじめ確約したアウトカムだったのかを、常に問おう。

オッズ比

オッズ比 0.77。オッズ比は、二つのグループを比較する一つの数字だ。目安はこうだ。

• 1.0 はグループ間に差がないことを意味する。
• 1.0未満 は、治療を受けたグループでその事象がより少なく見られたことを意味する。
• 1.0超 は、それがより多く見られたことを意味する。

だから0.77は、AIのグループが、対照グループと比べて、悪いアウトカムのオッズをおよそ4分の3持っていた、と言っている — その数字が本物なら。(その「なら」を胸に留めておこう。次の部品は、それを確かめる方法だ。)

あの小さな「調整済み(adjusted)」 — aORのa — は、研究者がグループ間の他の違いを勘定に入れるために統計を使ったことを意味する。ここでは、いくつかの診療所が最初から他と異なっていたという事実だ。オッズ比の近い親戚に出会うことになる。**リスク比(RR)とハザード比(HR)**だ。それらは計算の仕方が異なるが、読み方は同じだ。1.0が「差がない」の線である。

• 意味すること: 二つのグループの間の、「どれだけ多いか、少ないか」を凝縮したもの。
• 意味しないこと: それは、その事象がどれだけありふれていたかや、何人の実際の人が影響を受けるかは教えてくれない。比は、その基準値を隠す。
• 落とし穴: 「オッズが25%低い」は劇的に聞こえる。それがそもそも重要かどうかは、そのアウトカムがもともとどれだけありふれていたかに依存する — それが、まさに次の数字だ。

絶対か相対か

これは、ほとんど誰もをだますものなので、ゆっくり進む価値がある。

ノロウイルスの数字を取ってみよう。病気は、プラセボ群の**56.9%と、ワクチン接種群の44.7%**で起こった。あなたはその同じ差を、二通りの正直な方法で述べられる。

• 絶対: 12.2パーセントポイント低い(56.9引く44.7)。
• 相対: 約21%低い(12.2は56.9のおよそ5分の1)。

どちらも正しい。両者は同一の結果を述べている。そして両者はまったく違って感じられる — だからこそ、より大きく聞こえるほう、すなわち相対の数字が、プレスリリースの寵児なのだ。

「パーセントポイント」と「パーセント」は同じ言葉ではない。5%の金利から4%へ行くのは1パーセントポイントの低下だが、あなたが払う利息の20%の削減だ。この二つを取り違えることこそ、小さな変化が巨大なものとして売られる仕組みだ。

最も明快な警告は、まれな事象から来る。「50%の削減」は途方もなく聞こえる。しかし、もしその事象が1,000人中2人に起こっていて、今は1,000人中1人に起こるなら、その50%は1,000人あたり1人だ。AIの治験に戻ると、オッズ比(0.77)は23%の改善のように聞こえた — けれども絶対的な言い方では、悪いアウトカムは対照グループの2.0%と、AIグループの2.2%に起こった。1パーセントのほんの一部の差だ。(素のパーセンテージと調整済みの推定値は、グループが異なるときに異なる方向を指すことがある。だからこそ両方を注意深く読まなければならない — ここでは調整済みの0.77が一方に傾き、素の割合がもう一方に傾いている。)

• 意味すること: 常に絶対的な数字を見つけよう — 各グループでの実際の割合を。
• 意味しないこと: 大きな相対の数字は、現実世界での大きな変化を約束しない。
• 落とし穴: 基準値のない相対の数字。もし誰かがあなたにパーセントの削減しか与えないなら、「何人のうちで、そしてそれはすでにどれだけありふれていたのか?」と問おう。

信頼区間

95% CI 0.55から1.08。その一つの数字(0.77)は、研究の最良の一つの推測だ。信頼区間は、同じくデータと無理なく両立する値の範囲である。狭い区間は、研究が答えを突き止めたことを意味する。広い区間は、「正直なところ、確信がない」ことを意味する。

ここでは一つの問いがほとんどの仕事をする。その区間は「効果なし」を含んでいるか? 比にとって、「効果なし」は1.0だ。私たちの区間は0.55から1.08まで走っている — それは1.0をまたいでいる。だからデータは、本物の利益(0.55)とも、まったく何もないこと(1.0)とも、さらにはわずかな害(1.08)とも両立する。区間が効果なしを含むとき、あなたは効果を主張できない — それでおしまいだ。研究は単に、結果を突き止めていないのだ。

同じ治験からの、ノロウイルスの二つのエンドポイントを比較してみよう。

• 病気: 差 12.2パーセントポイント、95% CI −4.24から28.61。その範囲はゼロ(差なし)をまたぐので、結果は不確かだ。
• 感染: 差 23.6パーセントポイント、95% CI 7.4から38.0。その範囲はまるごとゼロより上なので、こちらは本物の信号だ。

同じ研究、同じワクチン、二つの区間、二つの異なる評決。区間こそ、正直さが宿る場所だ。

• 意味すること: 私たちがどれだけ確信しているかを、範囲として表したもの。
• 意味しないこと: 点推定は「答え」ではなく、両端は等しくありそうというわけでもない — 真ん中に近い値のほうがより尤もらしい。
• 落とし穴: 一つの数字を読んで、範囲を無視すること。範囲こそが要点だ。

p値

P = 0.13。p値は、狭く、つかみどころのない問いに答える。もし本当に効果がなかったなら、純粋な偶然だけで、少なくともこれと同じくらい大きな差がどれくらいの頻度で生じるだろうか? P = 0.13は、およそ13%の頻度を意味する — まぐれ当たりを排除できないほどにはありふれている。

長年の慣習により、研究者はしばしば、Pが0.05を下回るとき、結果を「統計的に有意」と呼ぶ。0.05が慣例 — 習慣によって引かれた線であって、自然の法則ではない — だと知っておくと役に立つ。私たちのP = 0.13はそれより上にあるので、AIの結果は「有意でない」。

ここには二つの落とし穴が住んでいて、どちらも大きい。

• 「有意」は「大きい」や「重要」を意味しない。 十分に大きな研究では、重要であるには小さすぎる差でも、なお基準を越えられる。
• 「有意でない」は「ゼロだと証明された」を意味しない。 それは非常にしばしば、「この研究では見分けられなかった」を意味する。証拠の不在は、不在の証拠ではない。

だからこそ、できるときには、信頼区間はp値よりも多くを教えてくれる。区間は、それを一つの合否の印につぶしてしまう代わりに、まだ検討の余地にあるものの全範囲を示すのだ。

サンプルサイズ

その研究には何人がいて、それは彼らが探していた効果を見るのに十分だったのか? その能力 — 実際に効果が存在するときにそれを検出する、研究の能力 — は検出力と呼ばれる。

そのAIの治験は約9,700人の患者を登録しており、それは十分に聞こえる。しかし悪いアウトカムはまれで — 約2% — まれなアウトカムを信頼できる形で比較するには、途方もない数が必要だ。著者たちはそのことについて清々しいほど率直だ。彼らが見た大きさの効果を確認するには、10万人ほどの患者が必要だろう、と。だからここでの「有意でない」は、たいてい「この治験は見分けるには小さすぎた」を意味するのであって、「そこには確実に何もない」ではない。

うるさい部屋でささやきに耳を澄ますことを考えてみよう。一度さっと聞くだけではほとんど分からない。そのささやきが本物かどうかを正直に言えるようになるまでに、注意深い繰り返しが何度も必要かもしれない。検出力の足りない研究は、一度さっと聞くだけのものだ。

• 意味すること: より大きな研究は、より小さな効果を見ることができる。まれなアウトカムは、大きな研究を要求する。
• 意味しないこと: 小さな研究からの帰無の結果は、何も起こらなかったことの証明ではない。
• 落とし穴: 「私たちはそれを検出できなかった」を「それはそこにない」として扱うこと。

それらをまとめて読む

では、その一行全体を、もう一度ゆっくり読もう。

the adjusted odds ratio was 0.77 (95% confidence interval 0.55 to 1.08, P = 0.13)

エンドポイントは、何が測定されたかを教えてくれる(重い治療の失敗、盲検で判定、14日以内)。オッズ比と絶対的な割合は、効果がどれだけ大きく見えるかを教えてくれる — そして絶対的な割合が、比を正直に保つ(2.0%対2.2%はごく小さい)。信頼区間は、私たちがどれだけ確信しているかを教えてくれる(あまり確信はない — それは「効果なし」を含んでいる)。p値は、偶然に逆らって賭けないよう警告する(0.13は運が生み出しやすい)。そしてサンプルサイズは、これがどの種類の「ノー」なのかを教えてくれる(見分けるには小さすぎる、のであって、何もないと証明されたのではない)。

まとめると、その威圧的な一行は、かなり正確で、かなり控えめなことを言っている。この一つの治験では、そのツールは少し役立つかもしれないし、何もしないかもしれず、そしてどちらなのかを私たちはまだ見分けられない — そして見分けるには、はるかに大きな研究が必要だろう。

それは失敗ではない。それは正直な結果であり、正直に報告されたものだ。その束の中のどの一つの数字も、それをあなたに教えることはできなかっただろう。あなたにはそれらすべてが、まとめて読まれることが必要だった — それこそが要点のすべてであり、私たちが、そのそばに平易な言葉での読み解きを添えずに数字を印刷することが決してない理由だ。

六つの問い、公式ではなく

結果を評決に変える採点のレシピは存在しない — それをあなたに差し出す者は誰でも、何かを売りつけている。あなたが持ち歩けるのは、短い問いのリストだ。それらは答えを生み出さない。あなたを正直に保つのだ。

1. 実際に何が測定されたのか、そしてそれはあらかじめ決められていたのか? (エンドポイント)
2. 効果はどれだけ大きいのか — そして各グループでの実際の数字は何か? (オッズ比、絶対か相対か)
3. 信頼区間は「効果なし」を含んでいるか?
4. p値は本当は何を言っているのか — そして「有意」が「重要」と混同されていないか?
5. 研究は、それが追い求めていた効果を見るのに十分な大きさだったか? (検出力)
6. そして、他のすべての問いの背後にある問い。この研究は何を示していないのか?

その精神で、それらを問おう。そうすれば、研究が何を意味するかを教えてもらうために、もはや見出しは要らない。あなた自身がそれを読めるのだ。