“محفوظ اور helpful” ہونا “effective” ہونے کے برابر نہیں

“محفوظ اور helpful” ہونا “مؤثر” ہونے کے برابر نہیں

طبی اے آئی کی زیادہ headlines غلط kind of مطالعہ سے بنتی ہیں۔ ماڈل exam سوالات پر اچھا اسکور کرے یا curated vignettes میں ڈاکٹرز کو سے بہتر رہا کرے، کہانی تیار: مشین کلینک کے لیے ready ہے۔

اس ٹرائل نے زیادہ مشکل اور نایاب کام کیا۔ generative-اے آئی فیصلہ-تائید کو حقیقی بنیادی نگہداشت، حقیقی facilities، حقیقی مریض میں رکھا اور اصل سوال پوچھا: کیا مریض بہتر ہوئے؟

دیانت دار جواب: نہیں—14 دن میں قابلِ پیمائش طور پر نہیں۔ ٹول نے کوئی حفاظت اشارہ نہیں دکھایا۔ کلینیکل دستاویزات بہتر ہوئی۔ کچھ drug لاگت شاید کم ہوئیں۔ مگر علاج failures significantly کم نہیں ہوئے، اور مصنفین صاف کہتے ہیں اگر فائدہ ہے بھی تو غالباً محدود ہے۔

یہ مطالعے کی ناکامی نہیں؛ مطالعے کا صحیح کام کرنا ہے۔ طب میں اے آئی شواہد مریض نتائج پر پیمائش ہو تو کچھ ایسا ہی دکھتا ہے، بینچ مارک پر نہیں۔

مصنفین نے کیا کیا

ٹیم نے Nairobi/Kiambu, Kenya میں Penda صحت کی 16 بنیادی-نگہداشت facilities پر pragmatic cluster-تصادفی ٹرائل کیا۔ نگہداشت largely کلینیکل officers دیتے ہیں—3-سال diploma والے mid-سطح practitioners—جنہیں senior consultation آسانی سے دستیاب نہیں ہوتی۔

بے ترتیب تقسیم معالج سطح پر، مریض نہیں۔ 103 کلینیکل officers: 52 مداخلت، 51 کنٹرول۔ دونوں ایک ہی بادل EMR۔ مداخلت کو اضافی طور پر اے آئی Consult 2.0، OpenAI GPT-4o پر مبنی فیصلہ-تائید، ریکارڈ میں ضم۔ معالج کی documented info پڑھ کر تشخیص/علاج plan میں ممکن issues نشان۔ معالج مکمل خودمختاری: قبول/modify/ignore۔

22 اپریل–16 جولائی 2025، 9,691 مریض enrolled۔ بنیادی نتیجہ جان بوجھ کر سخت/مریض-مرکز: ملاقات کے 14 دن کے اندر ماہر-ماہرین سے جانچا گیا مرکب علاج ناکامی—blinded معالج پینل نے حل طلب/بگڑتی ہوئی بیماری جیسے خراب نتائج judge کیے۔ ٹرائل پیش رفت registered (Pan-African کلینیکل ٹرائلز Registry 202502499779176)۔

یہ ڈیزائن انتخاب نقطہ ہے۔ اے آئی معالج کے notes بدلتی ہے دکھانا آسان؛ مریض پر اثر دکھانا مشکل اور معنی خیز۔

انہوں نے کیا پایا

بنیادی نتیجہ بہتر کرنا نہیں ہوا۔ علاج ناکامی اے آئی گروہ 102/4,693 (2.2%)، کنٹرول 94/4,654 (2.0%)۔ crude percentages اے آئی میں fractionally زیادہ؛ adjustment کے بعد نقطہ تخمینہ فائدہ کی طرف: adjusted odds تناسب 0.77 (95% CI 0.55–1.08, P=0.13)—شماریاتی طور پر اہم نہیں۔ raw/adjusted flip arithmetic غلطی نہیں؛ cluster فرق adjust ہوتی ہیں۔ CI نہیں-اثر شامل کرتی ہے، فائدہ دعویٰ نہیں؛ مطلق اثر tiny۔ کلینیکل-نتائج رہنما۔

حدود کے اندر نہیں حفاظت اشارہ۔ ٹول-متعلقہ سنجیدہ adverse واقعات نہیں؛ آزاد جائزہ نہیں حفاظت اشارہ۔ مگر ٹرائل نایاب severe harms شناخت کرنے کے لیے powered نہیں، prespecified noninferiority/صوری حفاظت فریم ورک نہیں؛ uncommon-واقعہ حفاظت ثابت کرنا نہیں۔

دستاویزات بہتر۔ 2,000 blinded-reviewed encounters میں تشخیص, علاج plan, مجموعی تکمیل سب domains اے آئی گروہ بہتر۔

نسخہ نویسی بمشکل changed۔ درست اینٹی بایوٹک استعمال سمیت اہم فرق نہیں (aOR 0.86, 95% CI 0.48–1.55)؛ اینٹی بایوٹک نسخہ نویسی شرح تقریباً غیر تبدیل۔

مریض کو فرق محسوس نہیں ہوا۔ 826 satisfaction respondents میں satisfaction essentially یکساں، consultation اوقات مشابہ۔

لاگت ہلکا کمی کا اشارہ۔ adjusted تجزیہ میں اینٹی بایوٹک-متعلقہ لاگت اے آئی گروہ کم—ممکن cheaper انتخاب، fewer prescriptions نہیں—اور فی-مریض بچت ٹول چلانے کی لاگت سے greater دکھائی دی۔ اشارہ دینے والا، مکمل معاشی جائزہ نہیں۔

مصنفین کا ایک-لائن صاف خلاصہ: حدود کے اندر LLM assistance محفوظ رہی، 14-دن علاج ناکامی کم کرنا نہیں ہوا، any فائدہ غالباً محدود۔

“نہیں اہم فرق” کا مطلب “کام نہیں کرتی” نہیں

بنیادی نتیجے کو دونوں سمتوں میں ضرورت سے زیادہ معنی دیا جا سکتا ہے۔

پہلی، ٹرائل مشاہدہ شدہ اثر سے بڑا اثر پکڑنے کے لیے تیار تھا۔ خراب بنیادی-نگہداشت نتائج ~2% نایاب؛ چھوٹا فائدہ شور سے distinguish کرنے کے لیے huge N۔ بعد از وقوع طاقت کے مطابق مشاہدہ شدہ-حجم اثر شناخت کرنے کو >100,000 مریض ترتیب ٹرائل چاہیے۔ غیر-اہم نتیجہ چھوٹا حقیقی فائدہ قاعدہ out نہیں کرتا؛ مطالعہ واضح کرنا نہیں کر سکی۔

دوسری، موازنہ جزوی طور پر blurred۔ ترتیب غلطی سے کچھ کنٹرول معالجین کو مختصر وقت کے لیے اے آئی رسائی؛ مشترک نیٹ ورک معالجین عادات/knowledge حصہ۔ دونوں بازو مزید alike → حقیقی فرق صفر کی طرف bias۔ host نیٹ ورک already نسبتاً بلند معیارات، بہتری headroom کم۔

یہ breakthrough rescue نہیں کرتا۔ calibrated مطالعہ: hardest اختتامی معیار پر two weeks میں واضح طور پر ثابت مریض فائدہ نہیں، جبکہ عمل/دستاویزات بہتر کرنا اور حفاظت اشارہ غائب۔

یہ کیا ثابت نہیں کرتا

• اے آئی نے مریض نتائج بہتر کرنا کیے—نہیں، بنیادی اختتامی معیار غیر-اہم۔
• اے آئی useless—نہیں، نقطہ تخمینہ favourable، دستاویزات بہتر کرنا، لاگت کمی کا اشارہ؛ چھوٹا فائدہ حل طلب۔
• نایاب harms کے لیے حفاظت ثابت کرنا—نہیں، نہیں اشارہ ≠ نایاب-واقعہ certification۔
• “اے آئی سے بہتر ہے ڈاکٹرز” یا جگہ لیتا ہے معالجین—نہیں، فیصلہ تائید؛ معالج اختیار مکمل۔
• خودکار عمومی اطلاق—نہیں، واحد نجی شہری Kenyan نیٹ ورک؛ دیہی/نیم شہری/بلند-آمدنی مختلف ہو سکتے۔
• لاگت savings establish—نہیں، اشارہ دینے والا اشارہ۔

شواہد کتنے مضبوط ہیں؟

مرکزی دعویٰ—مختصر-اصطلاح مریض harm کمی ثابت شدہ نہیں—ڈیزائن کے طور پر مضبوط، نتیجہ appropriately humble۔ prospective preregistered کلسٹر بے ترتیب کنٹرول شدہ آزمائش + blinded مریض-سطح مرکب بینچ مارک/vignette مطالعات سے far مزید informative۔

ثانوی دستاویزات/نسخہ نویسی/satisfaction/لاگت نتائج اچھا مگر ثانوی، آلودگی/واحد-نیٹ ورک حدود apply۔ حفاظت reassuring مگر حد میں۔

بہترین مؤقف “کام کرتا ہے” یا “failed” نہیں: حقیقی دنیا ٹرائل میں حفاظت اشارہ غائب + عمل بہتر، مگر 2-week مریض فائدہ demonstrate نہیں؛ چھوٹا فائدہ شناخت کرنے کو much larger مطالعہ چاہیے۔

یہ کیوں اہم ہے

طبی اے آئی بحث بینچ مارک-بھاری ہے؛ حقیقی pragmatic تصادفی مریض-نتیجہ ٹرائلز نایاب۔ یہ انہی میں سے ہے، اور unglamorous truth دیتی ہے: ٹیسٹ pass کرنا مریض مدد کے برابر نہیں۔

ٹول معالجین کے لیے genuinely مفید ہو سکتی ہے—بہتر notes، cheaper drugs، دوسرا جوڑا of eyes—اور مشکل نتیجہ 14 دن میں نہ حرکت کرے۔ دونوں حقائق together رکھنا بالغ صحت نظام کی کام ہے۔

burden of ثبوت reset: کلینیکل اے آئی improves نگہداشت دعویٰ کے لیے leaderboard نہیں، مریض نتائج ٹرائل چاہیے—اور محدود فوائد کے لیے بہت بڑا ٹرائل۔

صاف خلاصہ

16 Kenyan بنیادی-نگہداشت facilities کے کلسٹر بے ترتیب کنٹرول شدہ آزمائش میں “اے آئی Consult” (GPT-4o پر مبنی) کو کلینیکل officers کے EMR میں add کیا گیا۔ 9,691 مریض میں 14-دن ماہر-ماہرین سے جانچا گیا علاج ناکامی 2.2% اے آئی بمقابلہ 2.0% کنٹرول؛ adjusted OR 0.77, 95% CI 0.55–1.08, P=0.13—نہیں اہم فرق۔ حفاظت اشارہ نہیں، دستاویزات تمام domains بہتر، نسخہ نویسی/satisfaction تقریباً غیر تبدیل، اینٹی بایوٹک لاگت somewhat کم اشارہ۔ مصنفین: حدود کے اندر محفوظ، علاج ناکامی کم کرنا نہیں، ممکن فائدہ محدود؛ مشاہدہ شدہ اثر شناخت کرنے کو ~100k+ مریض پیمانہ چاہیے۔ یہ مریض فائدہ ثابت نہیں کرتا، uselessness بھی نہیں—عمل مدد ہوئی، مریض نتیجہ demonstrably نہیں۔

بلا مبالغہ جانچ

مقالے کیا دکھاتا ہے: حقیقی دنیا تصادفی ٹرائل میں LLM تائید نے حفاظت اشارہ نہیں دکھایا، دستاویزات بہتر، نسخہ نویسی تقریباً غیر تبدیل، سخت 14-دن علاج-ناکامی مرکب significantly کم کرنا نہیں۔

قرینِ قیاس مگر ثابت شدہ نہیں: چھوٹا درست مریض فائدہ underpowered؛ مکمل لاگت پر savings؛ بہتر دستاویزات eventually بہتر نگہداشت۔

نہیں دکھاتا: مریض نتائج بہتر کرنا؛ نایاب-واقعہ حفاظت certification؛ جگہ لیتا ہے/outperforms معالجین؛ تمام حالات generalize؛ established economics۔

حدود: نایاب ~2% نتیجہ؛ کنٹرول آلودگی/config غلطی + مشترک عادات صفر-bias؛ ایک نجی شہری نیٹ ورک/بلند بنیادی موازنہ معیارات؛ نہیں صوری noninferiority/حفاظت فریم ورک؛ 14-دن افق۔

اعتماد: اس آزمائش کے اندر حفاظتی اشارے اور دستاویزات میں بہتری پر مناسب اعتماد؛ 14 دن کے اندر مریضوں کے واضح فائدے پر بلند اعتماد نہیں؛ اور “کام کرتا ہے” یا “ناکام ہے” جیسے دو ٹوک فیصلے پر کم اعتماد۔ مناسب مؤقف: محتاط کلینیکل شواہد، بینچ مارک کی مبالغہ آرائی نہیں۔