AI agent ሙሉ የታካሚ ጉዳዮችን በራሱ አስኬደ — በsimulator ውስጥ፣ በpast records ላይ

ጥያቄን መመለስ እና ሙሉ የታካሚ ጉዳይን ማስኬድ አንድ አይደሉም

አብዛኞቹ የሕክምና AI ታሪኮች ስለ አንድ ሞዴል ነው የሚናገሩት፦ ጥያቄ ወይም አጭር የሕክምና ሁኔታ ትሰጠዋለህ፣ ምርመራ ወይም ምክር ይመልሳል፣ እና ከፍተኛ ነጥብ ያገኛል። ይህ ጠቃሚ ነው፣ ግን ውስን ነው — የሕክምና መዝገቡን በራሱ የማይነካ ብልህ አማካሪ ይመስላል።

MIRA ሌላ ነገር ለማድረግ ተገንብቷል፣ እና ዋናው አዲስ ነገር ይህ ነው። አንድ ጥያቄ ብቻ ከመመለስ ይልቅ ሙሉ ጉዳዩን ያስኬዳል፦ የታካሚውን መዝገብ ያነባል፣ ምን ተጨማሪ ታሪክ እንደሚያስፈልገው ይወስናል፣ ላቦራቶሪ፣ ምስል ማንሳት እና የማይክሮባዮሎጂ ሙከራዎች ያዛል፣ ውጤቶቹን ያነባል፣ የልዩነት ምርመራውን ያጠባብቃል፣ ከዚያ የመድኃኒት ማዘዣ፣ ሆስፒታል ማስገባት ወይም ወደ ቀዶ ሕክምና መላክ ያሉ ቀጣይ ትዕዛዞች ይጽፋል። ይህን ሁሉ ለሰው እንዲገለብጥ ነፃ ጽሑፍ በመጻፍ ሳይሆን እንደ ሐኪም በኤሌክትሮኒክ ጤና መዝገብ ውስጥ እርምጃዎች በመውሰድ ያደርጋል።

ይህ እውነተኛ እርምጃ ነው፦ ከሚመክር ሥርዓት ወደ በሥራ ፍሰት ውስጥ የሚሠራ ሥርዓት። ግን ይህ በቀላሉ “AI ዶክተሮችን አሸነፈ” የሚል ርዕስ ሊሆን ስለሚችል፣ ምን እንደተፈተነ እና የት እንደተፈተነ በግልጽ መናገር ይገባል።

በአንድ ሐረግ፦ MIRA ሙሉ የታካሚ ጉዳዮችን በራሱ አስኬደ እና በዚህ መመዘኛ የምርመራ ትክክለኛነት ላይ ከሐኪሞች የተሻለ አፈፃፀም አሳየ። ግን ይህ በተገደበ የሙከራ አካባቢ ውስጥ፣ በወደኋላ-ተመልካች መዝገቦች፣ በቀድሞ በተመረጡ ስምንት ምርመራዎች፣ በጽሑፍ ግንኙነት ብቻ ተደረገ፣ እና የብዙ ጥቅሙ ክፍል ውሳኔ የሚሰጡ ግልጽ ሙከራ ውጤቶች ባላቸው ሁኔታዎች ላይ መጣ። እድገቱ እውነተኛ ነው፤ የመመዘኛው ውጤት ግን እውነተኛ ክሊኒክን አይወክልም።

ደራሲዎቹ ምን አደረጉ?

MIRA — Medical Intelligence for Reasoning and Action — በOpenAI ሞዴሎች ላይ የተገነባ ራሱን ችሎ የሚሠራ ወኪል ነው። የሚያወራ እና እርምጃዎች የሚወስድ ክፍሉ GPT-4o ይጠቀማል፣ የተለየ የዕቅድ ደረጃ ደግሞ OpenAI o1 አመክንዮ ሞዴል ይጠቀማል። እነዚህ በHL7 FHIR — እውነተኛ ሆስፒታሎች መዝገቦችን ለመለዋወጥ የሚጠቀሙበት መረጃ መደበኛ — ላይ በተገነባ በተለይ በተዘጋጀ ማዕቀፍ ውስጥ አሉ፣ እና ከ80,000 በላይ የክሊኒካዊ እርምጃዎች መሳሪያዎች አሉት። በተገደበው የሙከራ አካባቢ ውስጥ MIRA ታሪክ ሊያገኝ፣ የላቦራቶሪ፣ የምስል ማንሳት እና የማይክሮባዮሎጂ ሙከራዎች ሊያዝ እና ሊተረጉም፣ differential ምርመራ ሊያዘጋጅ፣ እና የመድኃኒት ማዘዣ፣ የቀዶ ሕክምና ቀጠሮ ወይም የሆስፒታል ማስገቢያ ዕቅድ ያሉ የሕክምና ዕቅዶች ሊፈጥር ይችላል። አንድ ጠቃሚ ጥንቃቄ፦ MIRAን የገመገሙት ራስ-ሰር “ዳኞች” ራሳቸው GPT-4o ነበሩ — ከተመሳሳይ የሞዴል ቤተሰብ። የአቻ ገምጋሚ ይህን ጉዳይ ካነሳ በኋላ ደራሲዎቹ ውጤቶቹን በሙያው የተረጋገጠ ሐኪም ግምገማ ጋር አጠናክረዋል።

ሙከራ ስብስብ ከMIMIC-IV፣ ትልቅ ለሕዝብ ክፍት የሆነ፣ መለያዎች የተወገዱበት EHR የመረጃ ስብስብ መጣ። ከ2008–2019 በBeth Israel Deaconess የሕክምና ማዕከል ከታከሙ በግምት 300,000 ታካሚዎች መካከል 574 ታካሚ ጉዳዮች በስምንት ዒላማ ምርመራዎች ተመረጡ። እነዚህ ውስጥ appendicitis፣ pancreatitis፣ pneumonia፣ የሽንት መስመር ኢንፌክሽን እና ሌሎች የሆድ እና የውስጥ ደዌ አስቸኳይ ሁኔታዎች ነበሩ። በእያንዳንዱ ጉዳይ MIRA በውስን መረጃ ጀምሮ ቀጣይ እርምጃውን ደረጃ በደረጃ መወሰን ነበረበት — እንደ እውነተኛ የምርመራ ሂደት፣ ግን የጉዳዩ መጨረሻ በመዝገብ ውስጥ አስቀድሞ አለ። ከዚያ አፈፃፀሙ ከሐኪሞች ጋር ተነፃፀረ።

ምን አገኙ?

በመመዘኛው MIRA በምርመራ ትክክለኛነት ከሐኪሞች የተሻለ ነበር፣ ግን ዋናው ርዕስ ሦስት የተለያዩ ቁጥሮችን ይደብቃል።

በራሱ፣ በሁሉም 574 ጉዳዮች ላይ MIRA 88.9% ጊዜ ትክክለኛ ምርመራን ሰጠ — በMIMIC-IV ውስጥ ከተመዘገበ በመልቀቂያ ጊዜ ከተመዘገበው ምርመራ ጋር ተነፃፅሮ። በቀጥተኛ ከሰዎች ጋር ንጽጽር ዶክተሮች ሁሉንም 574 ጉዳዮች አልሰሩም፤ ከMIRA ጋር ተመሳሳይ መዝገቦች እና መሣሪያዎች በመጠቀም 311 ጉዳዮች ያሉት ንዑስ ስብስብ ሰሩ። በእነዚህ 311 ጉዳዮች MIRA 87.8% ነበር። አራት በሙያቸው የተረጋገጡ ሐኪሞች ከ7–11 ዓመት የልምድ ዓመታት ያላቸው ከፍተኛ ልምድ ያላቸው ቡድን 78.1% ነበር፤ በአብዛኛው በአብዛኛው ጀማሪ ሬዚደንቶችና ሁለት ስፔሻሊስቶች ያሉበት የተቀላቀለ የልምድ ደረጃ ቡድን 71.1% ነበር። በስምንቱም diseases ደራሲዎቹ MIRA “consistently equivalent to, and often exceeded” ሐኪሞች ብለው ያቀርባሉ።

ቀጣይ የሕክምና ውሳኔዎቹም በአጠቃላይ ከመመሪያዎች ጋር የሚስማሙ፣ በመድኃኒት ደህንነት ተገቢ እና ለሆስፒታል ማስገባት ተስማሚ ነበሩ። በdrug መስተጋብሮች፣ renal dosing፣ allergies፣ QT-አደጋ እና opioid prescribing የተባሉ አምስት ደህንነት categories ውስጥ ከፍተኛ ክብደት ያላቸው የመድኃኒት ስህተቶች አልተዘገቡም፣ ከ468 የመድኃኒት ማዘዣዎች 467ቱ ትክክል ነበሩ። ደራሲዎቹ ግን ሥርዓቱ “100% አስተማማኝነት” እንዳላገኘ ይጠቅሳሉ።

ነገር ግን የድሉ ቅርጽ እንደ ድሉ ራሱ አስፈላጊ ነው። በScience ሚዲያ Centre expert panel ላይ Dr Wei Xing የምርመራ ትክክለኛነት ጥቅሙ በዋናነት ግልጽ ሙከራ ውጤቶች ባላቸው ሁኔታዎች — appendicitis እና pancreatitis ያሉ — እንደተነዳ ጠቁመዋል። Pneumonia እና urinary-tract infections ላይ AIም ዶክተሮችም ዝቅተኛ አፈፃፀም ነበራቸው፣ ልዩነቱም ትንሽ ነበር።

የመረጃ አጠቃቀምም እኩል አልነበረም። MIRA በመደበኛ እንክብካቤ የሚገኙ ላቦራቶሪ የላቦራቶሪ መለኪያዎች ውስጥ በግምት 51% ተጠቀመ፣ በሙያቸው የተረጋገጡ ሐኪሞች ደግሞ በግምት 28% — በጉዳይ ላይ መካከለኛ እሴት ሰባት ተጨማሪ ደም መለኪያዎች። ደራሲዎቹ ይህ ከመረጃ ስብስቡ routine-እንክብካቤ baseline በታች እንደሆነ እና ውድ የሆኑ የመስቀለኛ ክፍል ምስል ምርመራዎች በስርዓት እንዳልጨመረ ይጠቅሳሉ። ግን ብዙ መረጃ በራሱ የምርመራ ትክክለኛነትን ሊጨምር ይችላል። ስለዚህ ይህ በእኩል መረጃ የተጫወቱ ተሳታፊዎች መካከል ፍጹም like-for-like ንጽጽር አይደለም።

“ዶክተሮችን አሸነፈ” ማለት “የተሻለ ዶክተር” ማለት አይደለም

በመመዘኛው ማሸነፍ በቀላሉ ከመጠን በላይ ሊተረጎም ይችላል። “MIRA ከፍ አድርጎ ነጥብ አደረገ” እና “MIRA የተሻለ ዶክተር ነው” መካከል ቢያንስ ሦስት ነገሮች አሉ።

መጀመሪያ፣ ከምን ጋር እንደተመዘነ። Professor Julie Jacko እንደጠቆሙት፣ አንዳንድ MIRA ውጤቶች በመሠረታዊው የመረጃ ስብስብ የተመዘገበውን ባህሪ እንደ የመልስ መለኪያ ይጠቀማሉ። ስለዚህ ሥርዓቱ በተለይ ሕክምና-alignment metrics ላይ በቀድሞው የሕክምና መዝገብ የተደረገውን ለመድገም ይሸለማል፣ እውነተኛ “ምርጥ እንክብካቤ”ን በፍጹም መለካት አይደለም። በፍትሃዊነት፣ ዋናው የምርመራ ትክክለኛነት ከበመልቀቂያ ጊዜ ከተመዘገበው ምርመራ ጋር ይነፃፀራል፣ ይህ ከሰነድ ማዘጋጀት echo ይልቅ ወደ እውነተኛ ውጤት ቅርብ ነው።

ሁለተኛ፣ ቀድሞ የተጠቀሰው የመረጃ አለመመጣጠን፦ 51% vs 28% የሚገኝ ደም የላቦራቶሪ መለኪያዎች ማለት ብዙ ማስረጃ ማለት ነው። የትክክለኛነት ልዩነት ክፍል በአመክንዮ ብቻ ሳይሆን በተጨማሪ መረጃ የተገኘ ሊሆን ይችላል።

ሦስተኛ፣ የሰራበት ቦታ። ይህ sandbox ነበር፣ ወደኋላ-ተመልካች ጉዳዮች፣ ስምንት አስቀድሞ የተመረጡ ምርመራዎች፣ በጽሑፍ ብቻ። Dr Dominic Oliver እንደጠቆሙት እውነተኛ ክሊኒካዊ assessment በታካሚ የሚናገረው ብቻ ሳይሆን እንዴት እንደሚናገር፣ አካላዊ examination፣ የታየ ባህሪ እና የሰውነት ቋንቋ ላይ ይመሰረታል። Text-only ወኪል እነዚህን አያይም። ከስምንቱ ምርመራዎች ውጭ ያለ ችግር ያለው ታካሚ ደግሞ ከዚህ ጥናት ወሰን ውጭ ነው።

ገምጋሚዎች ያነሱት ሌላ ጥንቃቄ የመረጃ መበከል ነው። MIMIC-IV ለሕዝብ ክፍት እና ብዙ የተጻፈበት database ነው፣ ስለዚህ ቋንቋ ሞዴል በያልተፈታ የኢንተርኔት ስልጠና ወቅት ጽሑፎች፣ የጉዳይ ውይይቶች ወይም መረጃውን ራሱ ሊያይ ይችላል። Dr Midhun Parakkal Unni ይህን በቀጥታ ጠቁመዋል፦ አንዳንድ መልሶች በስልጠና መረጃ ውስጥ ከነበሩ አፈፃፀሙ ክፍል ትውስታ እንጂ ክሊኒካዊ አመክንዮ ሊሆን አይችልም። ገለልተኛ ድጋሚ ማረጋገጫ ብቻ ሊለያቸው ይችላል። ደራሲዎቹም ይህን አይሸፍኑም፤ ውጤቶቹ “ሊሆን የሚችል ከፍተኛ ግምት” ተብለው በጥንቃቄ ሊተረጎሙ እንደሚገባ እና ወደ ሌሎች ለሕዝብ ክፍት ጉዳዮች የማጠቃለል ችሎታን ሊጋነኑ እንደሚችሉ ይጽፋሉ።

ይህ ሁሉ MIRAን ያነሰ አስደሳች አያደርገውም። ትክክለኛው ንባብ መጠኑን ያወቀ መሆን አለበት፦ በወደኋላ-ተመልካች መመዘኛ ላይ፣ ሙሉ መዝገብ ውስጥ እርምጃዎች ሊወስድ የሚችል ወኪል ግልጽ ሙከራዎች ባላቸው ምርመራዎች ላይ ሐኪሞችን አሸነፈ — ከፊሉ ብዙ ሙከራዎች በማዘዝ፣ ከፊሉ ከበመዝገቡ የተመዘገበው የሕክምና ሂደት ጋር በመስማማት። ይህ እውነተኛ ችሎታ ማሳያ ነው፣ “ማሽኖች አሁን ከዶክተሮች ይሻላሉ” የሚል ፍርድ አይደለም።

ይህ ምን አያረጋግጥም?

• MIRA በእውነተኛ ታካሚዎች ላይ እንደሚሠራ አያሳይም። ጉዳዮች ሁሉ ወደኋላ-ተመልካች እና የተመሰሉ ነበሩ።
• ከስምንቱ ምርመራዎች ውጭ እንደሚሠራ አያሳይም።
• ለለእውነተኛ አጠቃቀም ደህንነቱ ተረጋግጧል ብሎ አያሳይም። ደራሲዎቹ ወደፊት የታቀደ በእውነተኛ ዓለም ጥናቶች ለአጠቃላይነት፣ ደህንነት እና አስተዳደር እንደሚያስፈልጉ ይጽፋሉ።
• ከዶክተሮች ጋር ፍትሃዊ head-to-head እንደሆነ አያረጋግጥም። MIRA 51% ያህል የሚገኝ የላቦራቶሪ መለኪያዎች ተጠቀመ፣ ሐኪሞች 28% ያህል፣ እና አንዳንድ ሕክምና ውጤቶች ከበመዝገቡ የተመዘገበው የሕክምና ሂደት ጋር ተመዘኑ።
• የተሸምደደ መረጃ አልተጠቀመም ብሎ አያረጋግጥም። Public MIMIC-IV መረጃ ከሞዴል ስልጠና ጋር ሊደራረብ ይችላል።
• “AI ዶክተሮችን ይተካል” ማለት አይደለም። ይህ መዝገብ ውስጥ እርምጃዎች ሊወስድ የሚችል የውሳኔ ድጋፍ ሥርዓት ነው፤ እውነተኛ አጠቃቀም ከሐኪሞች ጋር ትብብር ይፈልጋል።

ማስረጃው ምን ያህል ጠንካራ ነው?

አባባሉን ሁለት ክፍል ማድረግ ይገባል።

የችሎታ ማሳያ እንደሆነ — ቋንቋ-ሞዴል ወኪል በEHR sandbox ውስጥ ታሪክ፣ ሙከራዎች፣ ምርመራ እና ትዕዛዞችን ከመጀመሪያ እስከ መጨረሻ ሊያገናኝ እንደሚችል — ሥራው አዲስ እና በቂ አሳማኝ ነው። ይህ ዋናው አዲስ ነገር ነው።

የብልጫ አባባል እንደሆነ — MIRA ከሐኪሞች ይሻላል — ማስረጃው ውስን ነው። ውጤቱ በተወሰነ ወደኋላ-ተመልካች መመዘኛ፣ በስምንት ምርመራዎች፣ በመረጃ አለመመጣጠን፣ የቀድሞው የሕክምና መዝገብ የመልስ መለኪያ እና ሊሆን የሚችል ስልጠና-የመረጃ መበከል ውስጥ ነው። “ወኪሉ በዚህ መመዘኛ በጣም ጥሩ አፈፃፀም አሳየ” ለማለት በቂ ነው፤ “ከዶክተር የተሻለ የምርመራ ባለሙያ ነው” ለማለት አይበቃም።

በጣም ጠቃሚው አቋም “AI ሐኪሞችን አሸነፈ” ወይም “የሙከራ መጫወቻ ብቻ ነው” አይደለም። የተሻለው፦ አንድ አዲስ ዓይነት የሕክምና AI — ጥያቄ ከመመለስ ይልቅ መዝገብ ውስጥ የሚሠራ — በከባድ ወደኋላ-ተመልካች መመዘኛ ላይ ጥሩ አፈፃፀም አሳየ፣ እና አሁን በእውነተኛ በቅድሚያ ምርመራቸው ያልተለየ እውነተኛ ታካሚዎች፣ ወደፊት የታቀደ ሁኔታ፣ በተገቢ አስተዳደር ስር ራሱን ማረጋገጥ አለበት።

ለምን ይጠቅማል?

በሕክምና AI ውስጥ አስደሳቹ ጥያቄ በቀስታ ተቀይሯል። ቀደም ሲል “ሞዴል ምርመራን ትክክል ሊያደርግ ይችላልን?” ነበር። MIRA ወደ ከባድ ጥያቄ ይወስደናል፦ “ሞዴል ሥራውን ማድረግ — መረጃ መሰብሰብ፣ ሙከራዎች ማዘዝ፣ መተርጎም፣ መወሰን፣ እርምጃ መውሰድ — በሙሉ የሥራ ፍሰት ውስጥ ይችላልን?” ይህ ይበልጥ ጠቃሚ እና ትክክለኛ ጥያቄ ነው፣ ምክንያቱም ችግኙም አደጋውም እርምጃ ላይ ነው።

ስለዚህ አቀራረብ አስፈላጊ ነው። “AI ከሐኪሞች የተሻለ አፈፃፀም አሳየ” የሚለው ርዕስ ከውጤቱ ያነሰ አዲስ እና ያነሰ የተደገፈውን ክፍል ያጎላል። በእውነት አዲሱ ነገር ትንሽ ቢመስልም ይበልጥ ተፅዕኖ አለው፦ ሙሉ መዝገብ ውስጥ ሊንቀሳቀስ የሚችል ወኪል። ይህ ችሎታ ከተረጋገጠ፣ ማን ኃላፊ እንደሆነ ከመቀየሩ በፊት የሥራ ፍሰትን ይቀይራል።

እና የማስረጃ ግዴታውን በትክክል ያዘጋጃል፦ ወደኋላ-ተመልካች በመመዘኛ ሰንጠረዥ ላይ የተገኘ ድል ወደፊት የታቀደ ሙከራ ለማድረግ ምክንያት ነው፣ ለዚያ ሙከራ ምትክ አይደለም። ደራሲዎቹም ይህን ይላሉ።

ንጹህ ማጠቃለያ

MIRA በተገደበ የኤሌክትሮኒክ ጤና መዝገብ ውስጥ የሚሠራ ራሱን ችሎ የሚሠራ AI ወኪል ነው፦ ታሪክ ይወስዳል፣ የላቦራቶሪ፣ የምስል ማንሳት እና የማይክሮባዮሎጂ ሙከራዎች ያዛል እና ይተረጉማል፣ ምርመራ ይደርሳል፣ ሕክምና plans ይጽፋል። ከለሕዝብ ክፍት ከሆነው MIMIC-IV የመረጃ ስብስብ የተወሰዱ 574 ወደኋላ-ተመልካች ጉዳዮች በስምንት አስቀድሞ የተመረጡ ምርመራዎች ላይ ሲፈተን የምርመራ ትክክለኛነት ላይ ሐኪሞችን አሸነፈ (88.9% በአጠቃላይ; 87.8% vs 78.1% head-to-head) እና በአብዛኛው ከመመሪያዎች ጋር የሚስማሙና በመድኃኒት ደህንነት ተገቢ ውሳኔዎች አደረገ። ግን ግምገማው ማስመሰል ነበር፣ የቀድሞ መዝገቦች፣ በጽሑፍ ብቻ፤ ብዙ ጥቅሙ ግልጽ ሙከራዎች ባላቸው ሁኔታዎች ላይ መጣ፤ MIRA በግምት 51% የሚገኝ ደም የላቦራቶሪ መለኪያዎች ተጠቀመ ከሐኪሞች 28% ጋር ሲነፃፀር፤ አንዳንድ ሕክምና ውጤቶች ከየመጀመሪያው የሕክምና መዝገብ ጋር ተመዘኑ፤ public የመረጃ ስብስብ ደግሞ ስልጠና-የመረጃ መበከል አደጋ አለው። እውነተኛው እድገት ጥያቄ የሚመልስ ቻትቦት ሳይሆን ሙሉ የሥራ ፍሰት ውስጥ እርምጃ የሚወስድ ወኪል መሆኑ ነው። ደራሲዎቹም አጠቃላይነት፣ ደህንነት እና አስተዳደር ወደፊት የታቀደ በእውነተኛ ዓለም ጥናቶች እንደሚፈልጉ ግልጽ ናቸው።

ያለ ማጋነን ማረጋገጫ

ጥናቱ የሚያሳየው: ቋንቋ-ሞዴል ወኪል (MIRA) በsandboxed EHR ውስጥ ታሪክ፣ ሙከራዎች፣ ምርመራ እና ትዕዛዞችን ከመጀመሪያ እስከ መጨረሻ ሊያስኬድ ይችላል፣ እና በ574-ጉዳይ ወደኋላ-ተመልካች መመዘኛ በስምንት ምርመራዎች ላይ የምርመራ ትክክለኛነት ውስጥ ሐኪሞችን አሸንፏል (88.9% በአጠቃላይ; 87.8% vs 78.1% በሙያቸው የተረጋገጡ ሐኪሞች)፣ ከፍተኛ ክብደት ያላቸው የመድኃኒት ስህተቶችም አልታዩም።

ሊሆን የሚችል ግን ያልተረጋገጠ: ይህ ችሎታ በእውነተኛ በቅድሚያ ምርመራቸው ያልተለየ እውነተኛ ታካሚዎች ላይ ጥቅም እንደሚሰጥ፤ ትክክለኛነት edge በbetter አመክንዮ እንጂ ብዙ ሙከራዎች፣ የሕክምና መዝገብ agreement ወይም memorized public መረጃ ምክንያት እንዳልሆነ።

የማያሳየው: MIRA ከስምንቱ ምርመራዎች ውጭ ይሠራል፤ safe to deploy ነው፤ በፍትሃዊ equally-informed ንጽጽር ዶክተሮችን ያሸንፋል፤ cliniciansን ይተካል፤ ወይም ውጤቶች ከስልጠና-የመረጃ መበከል ነፃ ናቸው ብሎ አያሳይም።

ዋና ገደቦች: ወደኋላ-ተመልካች፣ የተመሰለ፣ በጽሑፍ ብቻ ግምገማ፤ ስምንት አስቀድሞ የተመረጡ ምርመራዎች፤ የመረጃ አለመመጣጠን — 51% vs 28% የሚገኝ ደም የላቦራቶሪ መለኪያዎች፣ በዝቅተኛ ወጪ የደም ምርመራዎች ላይ እንጂ ምስል ማንሳት ላይ አይደለም፤ ሕክምና ውጤቶች ከቀድሞው የሕክምና መዝገብ ጋር በከፊል ተመዘኑ፤ ለሕዝብ ክፍት MIMIC-IV መመዘኛ በስልጠና ውስጥ ሊታይ ይችላል፣ ደራሲዎቹም ይህን ሊሆን የሚችል ከፍተኛ ግምት ብለው ይጠቅሳሉ።

አጠቃላይ አንባቢ ምን ያህል ሊተማመን ይገባል? MIRA እውነተኛ እና አዲስ ችሎታ ማሳያ — መዝገብ ውስጥ እርምጃ የሚወስድ ወኪል — መሆኑ ላይ ከፍተኛ እምነት። “ከሐኪም የተሻለ የምርመራ ባለሙያ ነው” ለሚለው ዝቅተኛ እምነት፤ ያ አባባል በአንድ ወደኋላ-ተመልካች መመዘኛ፣ ሙከራ-ordering asymmetry፣ የሕክምና መዝገብ-based scoring እና ሊሆን የሚችል contamination የተገደበ ነው። ደራሲዎቹ የሚሉት ትክክለኛ መጨረሻ ነው፦ ይህ ታካሚ እንክብካቤ ላይ ትርጉም ከማግኘቱ በፊት ወደፊት የታቀደ በእውነተኛ ዓለም ጥናት ይፈልጋል።