एक clinical AI सुरक्षित दिखी और paperwork बेहतर हुआ — लेकिन मरीजों के outcomes बेहतर नहीं हुए

सुरक्षित और सहायक दिखना, प्रभावी होने के बराबर नहीं है

चिकित्सकीय AI पर अधिकांश सुर्खियाँ गलत तरह के अध्ययनों से बनती हैं। कोई मॉडल परीक्षा के प्रश्नों में अच्छा स्कोर करता है, या चुने हुए नैदानिक उदाहरणों पर डॉक्टरों से बेहतर दिखता है, और कहानी खुद लिखी हुई लगती है: मशीन क्लिनिक के लिए तैयार है।

इस परीक्षण ने कुछ अधिक कठिन और कहीं अधिक दुर्लभ किया। इसने जनरेटिव-AI आधारित निर्णय-सहायता उपकरण को वास्तविक प्राथमिक देखभाल केंद्रों में, वास्तविक मरीजों के साथ इस्तेमाल किया और वही सवाल पूछा जो वास्तव में मायने रखता है: क्या मरीजों के नतीजे बेहतर हुए?

ईमानदार उत्तर है—नहीं, कम से कम 14 दिनों में मापने योग्य रूप से नहीं। उपकरण से कोई सुरक्षा-संकेत नहीं मिला। उसने चिकित्सकीय दस्तावेज़ीकरण की गुणवत्ता बेहतर की। संभव है कि उसने कुछ दवा-लागत भी घटाई हो। लेकिन उपचार-विफलता में सांख्यिकीय रूप से महत्वपूर्ण कमी नहीं आई, और लेखक सावधानी से कहते हैं कि यदि कोई लाभ है भी, तो शायद वह छोटा है।

यह अध्ययन की विफलता नहीं है। यही अध्ययन का काम है। चिकित्सा में AI पर जिम्मेदार साक्ष्य ऐसे दिखते हैं जब उन्हें बेंचमार्क की बजाय मरीजों पर मापा जाता है।

लेखकों ने क्या किया

टीम ने केन्या के नैरोबी और किआम्बू काउंटियों में निजी स्वास्थ्य नेटवर्क Penda स्वास्थ्य द्वारा चलाए जाने वाले 16 प्राथमिक देखभाल केंद्रों में एक व्यावहारिक, क्लस्टर-रैंडमाइज़्ड परीक्षण किया। इन केंद्रों में देखभाल मुख्यतः क्लिनिकल officers देते हैं—तीन वर्षीय डिप्लोमा वाले मध्यम-स्तरीय चिकित्सकीय पेशेवर—जिन्हें अक्सर वरिष्ठ विशेषज्ञ से तुरंत सलाह उपलब्ध नहीं होती।

रैंडमाइज़ेशन की इकाई मरीज नहीं, चिकित्सक था। 103 क्लिनिकल officers को रैंडमाइज़ किया गया: 52 हस्तक्षेप समूह में और 51 नियंत्रण समूह में। दोनों समूहों ने एक ही क्लाउड-आधारित इलेक्ट्रॉनिक मेडिकल रिकॉर्ड इस्तेमाल किया। हस्तक्षेप समूह को इसके अतिरिक्त “AI Consult” (संस्करण 2.0) मिला, जो OpenAI के GPT-4o बड़े भाषा मॉडल पर बना निर्णय-सहायता उपकरण था और उसी रिकॉर्ड में जुड़ा हुआ था। यह चिकित्सक द्वारा दर्ज जानकारी पढ़कर निदान या उपचार योजना में संभावित समस्याओं की ओर ध्यान दिला सकता था। अंतिम निर्णय पूरी तरह चिकित्सक के पास रहा: वे सुझाव स्वीकार, बदल या अनदेखा कर सकते थे।

22 अप्रैल से 16 जुलाई 2025 के बीच 9,691 मरीज शामिल किए गए। प्राथमिक परिणाम जानबूझकर मरीज-केंद्रित और कठोर रखा गया था: विज़िट के 14 दिनों के भीतर उपचार-विफलता का संयुक्त परिणाम, जिसे विशेषज्ञों ने तय किया। चिकित्सकों के एक पैनल ने अध्ययन-समूह जाने बिना यह आंका कि मरीज को बीमारी न सुधरने या बिगड़ने जैसे प्रतिकूल परिणाम हुए या नहीं। परीक्षण पहले से पंजीकृत था (Pan-African क्लिनिकल परीक्षण Registry 202502499779176)।

यही डिज़ाइन-चयन अहम है। यह दिखाना आसान है कि AI उपकरण चिकित्सक के लिखने के तरीके को बदलता है। यह दिखाना कहीं कठिन—और कहीं अधिक सार्थक—है कि वह मरीज के साथ होने वाली चीज़ को बदलता है।

उन्हें क्या मिला

प्राथमिक परिणाम बेहतर नहीं हुआ। AI समूह के 4,693 मरीजों में 102 (2.2%) और नियंत्रण समूह के 4,654 मरीजों में 94 (2.0%) में उपचार-विफलता हुई। कच्चे प्रतिशत AI के साथ थोड़ा अधिक थे, लेकिन समायोजन के बाद बिंदु-अनुमान लाभ की दिशा में गया: समायोजित odds अनुपात 0.77 था (95% विश्वास-अंतराल 0.55 से 1.08, P = 0.13)—जो सांख्यिकीय रूप से महत्वपूर्ण नहीं था। कच्चे और समायोजित परिणामों का दिशा बदलना गणना की गलती नहीं है; समायोजन चिकित्सक-क्लस्टरों के बीच अंतर को ध्यान में रखता है। किसी भी तरह विश्वास-अंतराल आराम से “कोई प्रभाव नहीं” को शामिल करता है, इसलिए लाभ का दावा नहीं किया जा सकता, और पूर्ण अंतर बहुत छोटा था।

Odds अनुपात, विश्वास-अंतराल और P मान को साथ पढ़ने का आसान तरीका क्लिनिकल परिणाम पढ़ने की मार्गदर्शिका में है।

सीमाओं के भीतर कोई सुरक्षा-संकेत नहीं मिला। किसी गंभीर प्रतिकूल घटना को उपकरण से संबंधित नहीं माना गया, और स्वतंत्र समीक्षा में भी सुरक्षा-संकेत नहीं मिला। लेखक इस भरोसे की सीमा साफ बताते हैं: अध्ययन दुर्लभ गंभीर हानियों को पकड़ने के लिए पर्याप्त शक्ति वाला नहीं था, और इसमें पहले से तय noninferiority या औपचारिक सुरक्षा ढाँचा नहीं था। इसलिए यह असामान्य घटनाओं के लिए सुरक्षा को सिद्ध नहीं कर सकता।

दस्तावेज़ीकरण बेहतर हुआ। 2,000 मुलाकातों की blinded विशेषज्ञ समीक्षा में AI Consult इस्तेमाल करने वाले चिकित्सकों के रिकॉर्ड हर आंके गए क्षेत्र में बेहतर थे—दर्ज निदान, उपचार योजना और कुल पूर्णता।

दवा लिखने के तरीके में बहुत कम बदलाव आया। Prescribing में कोई महत्वपूर्ण अंतर नहीं था, जिसमें सही antibiotic उपयोग भी शामिल था (समायोजित odds अनुपात 0.86, 95% CI 0.48 से 1.55)। उपकरण ने antibiotic prescribing दर नहीं बदली।

मरीजों ने कोई अंतर महसूस नहीं किया। संतुष्टि सर्वे पूरा करने वाले 826 मरीजों में दोनों समूहों की संतुष्टि लगभग समान थी और consultation समय भी लगभग समान रहा।

लागत में हल्की गिरावट का संकेत मिला। समायोजित विश्लेषण में AI समूह में antibiotics से जुड़ी लागत कम थी—संभवतः कम prescriptions की बजाय सस्ते विकल्प चुने जाने से—और प्रति मरीज antibiotic बचत उपकरण चलाने की प्रति-मरीज लागत से अधिक दिखी। लेखक इसे संकेत मानते हैं, स्थापित निष्कर्ष नहीं: कुल ownership लागत का पूरा आर्थिक लेखा परीक्षण के दायरे में नहीं था।

लेखकों का अपना एक-पंक्ति सार सबसे साफ है: इन सीमाओं के भीतर LLM सहायता सुरक्षित दिखी, लेकिन उसने 14 दिनों में उपचार-विफलता कम नहीं की; यदि लाभ है, तो शायद वह छोटा है।

“कोई महत्वपूर्ण अंतर नहीं” का अर्थ “यह काम नहीं करता” नहीं है

नकारात्मक प्राथमिक परिणाम को किसी भी दिशा में ज्यादा पढ़ना आसान है। दो बातें सरल कहानी को रोकती हैं।

पहली, परीक्षण उस प्रभाव से बड़ा प्रभाव पकड़ने के लिए बनाया गया था जो वास्तव में दिखा। प्राथमिक देखभाल में गंभीर खराब परिणाम दुर्लभ हैं—यहाँ लगभग 2%—इसलिए छोटे वास्तविक लाभ को शोर से अलग करने के लिए बहुत बड़े नमूने चाहिए। लेखकों की बाद की शक्ति गणनाएँ बताती हैं कि उनके देखे गए आकार का प्रभाव पकड़ने के लिए कहीं बड़ा परीक्षण, लगभग 100,000 से अधिक मरीजों के स्तर का, चाहिए होगा। इस आकार के अध्ययन में non-significant परिणाम छोटे, वास्तविक लाभ को खारिज नहीं करता; इसका अर्थ है कि यह अध्ययन उसे स्पष्ट नहीं कर सका।

दूसरी, तुलना कुछ हद तक धुंधली हो गई थी। configuration त्रुटि के कारण कुछ समय के लिए नियंत्रण समूह के कुछ चिकित्सकों को AI Consult मिल गया, और एक ही नेटवर्क के चिकित्सक आपस में बात करते हैं तथा आदतें समूह-सीमा पार ले जा सकते हैं। दोनों बातें समूहों को अधिक समान दिखाती हैं और वास्तविक अंतर को शून्य की ओर धकेल सकती हैं। इसके अलावा, मेजबान नेटवर्क पहले से अपेक्षाकृत उच्च मानकों पर चलता था, इसलिए सुधार के लिए जगह कम थी।

इनमें से कोई बात “breakthrough” वाली सुर्खी को बचाती नहीं है। लेकिन सही पढ़ाई निराशावादी भी नहीं है: सबसे कठिन और सबसे ईमानदार एंडपॉइंट पर यह उपकरण दो हफ्तों में मरीजों को मापने योग्य लाभ नहीं दे सका—जबकि उसने रिकॉर्ड-रखरखाव को स्पष्ट रूप से बेहतर किया और सुरक्षित दिखा।

यह क्या सिद्ध नहीं करता

• यह नहीं दिखाता कि AI ने मरीजों के परिणाम बेहतर किए। प्राथमिक 14-दिन एंडपॉइंट पर महत्वपूर्ण लाभ नहीं था।
• यह नहीं दिखाता कि AI बेकार है। बिंदु-अनुमान उसके पक्ष में था, दस्तावेज़ीकरण हर क्षेत्र में सुधरा और दवा-लागत नीचे जाने का संकेत मिला; null परिणाम छोटे वास्तविक लाभ के साथ संगत है जिसे यह परीक्षण पुष्टि करने के लिए बहुत छोटा था।
• यह दुर्लभ हानियों के लिए उपकरण की सुरक्षा सिद्ध नहीं करता। कोई सुरक्षा-संकेत नहीं मिला, लेकिन परीक्षण दुर्लभ गंभीर घटनाओं की सुरक्षा प्रमाणित करने के लिए डिज़ाइन या powered नहीं था।
• यह नहीं दिखाता कि “AI डॉक्टरों को हरा देता है” या चिकित्सक को बदल देता है। यह decision समर्थन था; सुझाव स्वीकार या अस्वीकार करने का पूरा अधिकार चिकित्सक के पास था।
• यह अपने-आप सामान्यीकृत नहीं होता। परीक्षण केन्या के एक निजी शहरी नेटवर्क में हुआ; ग्रामीण, periurban या अधिक आय वाले परिवेश अलग हो सकते हैं।
• यह लागत-बचत स्थापित नहीं करता। लागत का संकेत आशाजनक है, पूर्ण आर्थिक मूल्यांकन नहीं।

साक्ष्य कितना मजबूत है?

केंद्रीय दावा—कम समय में मरीज-हानि घटने का सिद्ध प्रमाण नहीं मिला—के लिए अध्ययन-डिज़ाइन मजबूत है और निष्कर्ष उचित रूप से संयमित है। भावी, pre-registered, समूहित होना-यादृच्छिकीकृत परीक्षण, जिसमें blinded और मरीज-स्तरीय संयुक्त परिणाम है, ऐसे उपकरण के लिए वास्तविक दुनिया के सर्वोत्तम प्रकार के साक्ष्यों में आता है। यह बेंचमार्क स्कोर या केस-विवरण अध्ययन से कहीं अधिक जानकारी देता है।

द्वितीयक निष्कर्ष—बेहतर दस्तावेज़ीकरण, अपरिवर्तित prescribing, समान संतुष्टि, कम antibiotic लागत—अच्छे साक्ष्य हैं, लेकिन उन्हें द्वितीयक ही पढ़ना चाहिए: सहायक संकेत, मुख्य सुर्खी नहीं, और वही दूषण तथा single-network सीमाएँ इन पर भी लागू होती हैं।

सुरक्षा के लिए साक्ष्य आश्वस्त करने वाला लेकिन सीमित है: कोई संकेत नहीं मिला, पर अध्ययन दुर्लभ हानियाँ खोजने के लिए बना नहीं था।

सबसे उपयोगी रुख न “यह काम करता है” है, न “यह विफल हुआ”। सही रुख है: सावधानीपूर्वक वास्तविक दुनिया के परीक्षण में इस AI उपकरण से कोई सुरक्षा-संकेत नहीं मिला और देखभाल प्रक्रिया बेहतर हुआ, लेकिन दो हफ्तों में मरीज-परिणाम का लाभ सिद्ध नहीं हुआ—और ऐसा लाभ पकड़ने के लिए कहीं बड़ा अध्ययन चाहिए।

यह क्यों मायने रखता है

चिकित्सकीय AI की बहस को ठीक इसी तरह के साक्ष्य की कमी है। हजारों शोधपत्र हैं जिनमें मॉडल परीक्षा में अव्वल आते हैं या सुथरे क्लिनिकल मामले पर चिकित्सक से मेल खाते हैं। वास्तविक मरीजों को फायदा हुआ या नहीं, यह मापने वाले बड़े pragmatic रैंडमाइज़्ड परीक्षण बहुत कम हैं। यह उनमें से एक है, और इसका साधारण-सा सत्य महत्वपूर्ण है: परीक्षा पास करना मरीज की मदद करने के बराबर नहीं है।

यही अंतर पूरी कहानी है। कोई उपकरण चिकित्सक के लिए सच में उपयोगी हो सकता है—साफ notes, कम दवा-खर्च, एक अतिरिक्त जाँच—और फिर भी पंद्रह दिनों से भी कम समय में किसी कठोर मरीज परिणाम को न बदल पाए। दोनों बातें एक साथ सच हो सकती हैं, और परिपक्व स्वास्थ्य-व्यवस्था को सुविधाजनक कहानी चुनने की बजाय दोनों को साथ रखना होगा।

यह प्रमाण का भार भी सही दिशा में रीसेट करता है। यदि कोई कंपनी दावा करती है कि उसकी क्लिनिकल AI देखभाल बेहतर करती है, तो प्रासंगिक साक्ष्य लीडरबोर्ड नहीं है। वह ऐसा परीक्षण है, उन परिणाम पर जो मरीजों के लिए मायने रखते हैं—और आदर्श रूप से इससे बड़ा, क्योंकि यहाँ ईमानदार सबक यही है कि छोटे लाभ देखने के लिए बड़े अध्ययन चाहिए।

साफ सारांश

केन्या के 16 प्राथमिक देखभाल केंद्रों में एक pragmatic, समूहित होना-यादृच्छिकीकृत परीक्षण ने क्लिनिकल officers द्वारा इस्तेमाल किए जाने वाले इलेक्ट्रॉनिक रिकॉर्ड में जोड़े गए generative-AI निर्णय-सहायता उपकरण (“AI Consult”) को परखा। 9,691 मरीजों में 14 दिनों के भीतर expert-adjudicated treatment-failure composite उपकरण के साथ 2.2% और बिना उपकरण 2.0% था (समायोजित odds अनुपात 0.77, 95% CI 0.55–1.08, P = 0.13)—कोई महत्वपूर्ण अंतर नहीं। उपकरण से कोई सुरक्षा-संकेत नहीं मिला, हर आंके गए क्षेत्र में क्लिनिकल दस्तावेज़ीकरण बेहतर हुआ, prescribing नहीं बदली, मरीज-संतुष्टि समान रही और antibiotic लागत कुछ कम होने से जुड़ी थीं। लेखकों का निष्कर्ष है कि इन सीमाओं के भीतर उपकरण सुरक्षित दिखा लेकिन उपचार failure कम नहीं हुआ; यदि लाभ है तो शायद वह छोटा है, और देखे गए आकार का प्रभाव पकड़ने के लिए लगभग 100,000 मरीजों के स्तर का कहीं बड़ा परीक्षण चाहिए। परिणाम न यह दिखाता है कि क्लिनिकल AI मरीजों के नतीजे बेहतर करती है, न यह कि वह बेकार है—यह दिखाता है कि सुरक्षित दिखने और प्रक्रिया में मदद करने वाला उपकरण एक शहरी निजी नेटवर्क में दो हफ्तों में मरीजों को मापने योग्य लाभ नहीं दे सका।

बिना बढ़ा-चढ़ाकर जाँच

पेपर क्या दिखाता है: वास्तविक दुनिया के रैंडमाइज़्ड परीक्षण में प्राथमिक देखभाल रिकॉर्ड में LLM आधारित निर्णय-सहायता उपकरण जोड़ने से कोई सुरक्षा संकेत नहीं मिला, क्लिनिकल दस्तावेज़ीकरण बेहतर हुआ, prescribing नहीं बदली और 14-दिन के कठोर treatment-failure composite में महत्वपूर्ण कमी नहीं आई।

क्या संभव है लेकिन सिद्ध नहीं: उपकरण उपचार failure में इतना छोटा वास्तविक लाभ दे कि यह परीक्षण उसे पकड़ न सका; कुल लागत जोड़ने पर यह पैसा बचाए; बेहतर दस्तावेज़ीकरण आगे चलकर बेहतर देखभाल में बदले।

यह क्या नहीं दिखाता: कि क्लिनिकल AI मरीजों के परिणाम बेहतर करती है; कि दुर्लभ घटनाओं के लिए यह असुरक्षित है; कि यह चिकित्सक को बदलती या उनसे बेहतर है; कि यही परिणाम ग्रामीण या अधिक आय वाले परिवेश में भी होंगे; कि लागत-बचत स्थापित है।

मुख्य सीमाएँ: अध्ययन उस प्रभाव से बड़ा प्रभाव पकड़ने के लिए powered था जो देखा गया (दुर्लभ परिणाम के लिए बहुत बड़े नमूने चाहिए); configuration त्रुटि से नियंत्रण arm में दूषण हुआ और साझा नेटवर्क की आदतें तुलना को धुंधला करती हैं—दोनों अंतर को शून्य की ओर झुका सकते हैं; पहले से ऊँचे मानकों वाला एक ही निजी शहरी नेटवर्क; पहले से तय noninferiority या सुरक्षा फ्रेमवर्क नहीं; केवल 14-दिन का horizon।

सामान्य पाठक को कितना भरोसा रखना चाहिए? इस परीक्षण में उपकरण से कोई सुरक्षा संकेत नहीं मिला और दस्तावेज़ीकरण बेहतर हुआ—इस पर उच्च भरोसा। यहाँ 14 दिनों में मरीज-परिणाम मापने योग्य रूप से बेहतर नहीं हुए—इस पर भी उच्च भरोसा। लेकिन “यह काम करता है” या “यह विफल है” जैसे व्यापक patient-benefit दावों पर कम भरोसा—वह प्रश्न वास्तव में खुला है और कहीं बड़े अध्ययन की जरूरत है। उचित रुख: ऐसा सावधानीपूर्वक वास्तविक-दुनिया परिणाम जिसमें उपकरण सुरक्षित दिखा और देखभाल प्रक्रिया बेहतर हुआ, न कि यह फैसला कि AI प्राथमिक देखभाल को बदल देती है या बर्बाद कर देती है।