Tibbi AI orta hesabla məxfi olub yenə də konkret pasiyentləri — xüsusən az təmsil olunanları — ifşa edə bilər

Məxfilik zəmanəti ortalamaya deyil, insana verilən vəddir

Tibbi süni intellekt modeli “məxfiliyi qoruyan” adlandırılanda bu iddia adətən bir rəqəmə söykənir: modeli öyrətmək üçün məlumatlarından istifadə edilmiş bütün pasiyentlər üzrə orta hesabla, hər hansı konkret şəxsin təlim dəstinə daxil olub-olmadığını müəyyənləşdirmək ehtimalı aşağıdır. Bu, sakitləşdirici səslənir. Bu məqalənin sakit, amma narahatedici fikri budur ki, yanlış rəqəmə baxırıq.

Məxfilik orta göstərici deyil. O, hər bir insana ayrıca verilən vəddir — təlim dəstində olmaq sonradan onun əleyhinə işləyib onu ifşa etməyəcək. Orta göstərici bu vədi demək olar hamı üçün saxlaya, amma bir neçə nəfər üçün tam poza bilər. Tədqiqatçılar məxfilik riskini əvvəllər istifadə olunmamış dəqiqliklə pasiyent-pasiyent ölçdülər və məhz bunu gördülər: ümumi göstəricilərə görə təhlükəsiz görünən modellər bəzi konkret şəxslərin təlim dəstində iştirakını demək olar qüsursuz şəkildə sızdıra bilər — və bu sızmaya məruz qalanlar qeyri-mütənasib olaraq onsuz da ən az qorunan insanlardır.

Müəlliflər nə etdilər

Moritz Knolle-nin rəhbərlik etdiyi komanda — Daniel Rückert (hər ikisi Münhen Texniki Universitetindən) və Georg Kaissis (Hasso Plattner Institute), həmçinin Imperial College London-dan həmkarları ilə birlikdə — membership inference attack adlanan məşhur məxfilik hücumunu götürüb sualı dəyişdirdi. “Bu hücum bütün məlumat dəsti üzrə orta hesabla nə qədər tez-tez uğur qazanır?” əvəzinə “bu konkret pasiyent nə dərəcədə açıq qalır?” deyə soruşdular.

Onlar bu pasiyent-səviyyəli təhlili çox fərqli məlumat növlərini — tibbi görüntüləmə, elektrokardioqramlar və elektron sağlamlıq qeydlərini — əhatə edən yeddi tanınmış tibbi məlumat dəsti üzrə və hər birində 200 model üzərində apardılar. Hər modeldə hər pasiyent üçün hücumçunun həmin şəxsin qeydinin təlim məlumatlarının bir hissəsi olub-olmadığını nə qədər əminliklə müəyyən edə biləcəyini hesabladılar, sonra nəticələri qruplara görə ayırdılar: xəstəlik statusu, şəxsin özü tərəfindən bildirilən irq, sığorta, cins və görüntüləmə protokolu.

Nə tapdılar

Bir-birindən daha kəskin üç nəticə.

Ortalamalar ən çox açıq qalanları gizlədir. Ümumi şəkildə — adətən edildiyi kimi — ölçəndə bu modellərin çoxu kifayət qədər məxfi görünür: pasiyentlərin əksəriyyətində hücum təsadüfi təxmindən yaxşı deyil. Pasiyent-səviyyəli baxış isə başqa mənzərə göstərdi. Knolle tədqiqatın elanında dediyi kimi, əvvəlki qiymətləndirmələr “yalnız bütün pasiyentlər üzrə orta riski ölçüb. Biz ilk dəfə riski ayrı-ayrı pasiyentlər səviyyəsində araşdırdıq — və bu, çox fərqli mənzərə yaradır.” Bəzi şəxslər üçün hücum demək olar qüsursuz işləyir — müəlliflər bunu hücum AUC-si 0.95 və ya daha yüksək kimi ölçürlər (0.5 sikkə atmaq kimidir, 1.0 qüsursuz nəticədir) — halbuki bütün məlumat dəsti üzrə orta göstərici təsadüfdən yaxşı görünmür.

İfşa bərabər deyil — və az təmsil olunanların üzərinə düşür. Demək olar qüsursuz hücuma ən həssas pasiyentlər sistematik şəkildə məlumatlarda az təmsil olunan qruplara aid idi: etnik azlıqlar, nadir xəstəlik fenotipləri, qeyri-adi görüntüləmə xüsusiyyətləri. Elektron qeyd məlumat dəstində qaradərili pasiyentlər ən həssas qeydlər arasında gözləniləndən 31% daha çox görünürdü; mammoqrafiya dəstində bədxassəlilik baxımından şübhəli işarələnmiş skanlar həmin təhlükəli zonada heyrətamiz +1,179% artıq təmsil olunurdu. (Bu iki rəqəm bütün mənzərə deyil, nümunələrdir — məqalə bir neçə qrupda eyni meyli göstərir — və bunlar kiçik, ekstremal risk “quyruğu” daxilində nisbi artıq təmsil olunmadır: bu pasiyentlərin ən çox ifşa olunan qeydlər arasında gözləniləndən nə qədər tez-tez göründüyünü göstərir, qaradərili və ya şübhəli mammoqrafiyalı pasiyentlərin neçə faizinin ifşa olunduğunu yox.) Modelin bu pasiyentləri çoxlu oxşar nümunələrin içində “əridəcək” materialı azdır, buna görə onların qeydləri seçilir — membership hücumunun aşkar etdiyi də məhz seçilməkdir. Məxfilik uğursuzluğu təsadüfi deyil; onsuz da kənarda qalan insanların üzərində cəmlənir.

Böyük modellər vəziyyəti pisləşdirir. Demək olar qüsursuz hücumlara açıq pasiyentlərin sayı model tutumu artdıqca kəskin yüksəldi — bir dermatologiya məlumat dəstində bu pay ən kiçik modeldə demək olar sıfırdan ən böyük modeldə təxminən hər on nəfərdən birinə qalxdı. Tibbi AI modelləri böyüdükcə və daha qabiliyyətli olduqca — bütün sahənin getdiyi istiqamət budur — müəlliflər xəbərdarlıq edir ki, bu konkret risk azalmaq əvəzinə artır.

Rückert-in yekunu sərtdir: “Bu, qəbul edilə bilən risk deyil. Sağlamlıq məlumatları son dərəcə həssasdır.”

Niyə “orta hesabla təhlükəsizdir” yanlış testdir

Aşağı orta risk göstəricisini tam təhlükəsizlik arayışı kimi oxumaq cazibədardır. Məqalənin əsas dərsi budur ki, burada ortalamaq sadəcə qeyri-dəqiq deyil — yanlış şeyi ölçür.

Məxfilik zəmanəti yalnız ortadakı insan üçün deyil, ən çox risk altında olan insan üçün də işləyirsə mənalıdır. 1,000 pasiyentdən 999-nun üzvlüyü müəyyən edilə bilməyən, amma bir nəfərin demək olar qüsursuz müəyyən edildiyi model həmin bir insan üçün vacib olan heç bir mənada “99.9% məxfi” deyil — üstəlik həmin bir nəfər proqnozlaşdırıla bilən şəkildə nadir xəstəlikli pasiyent və ya etnik azlıq nümayəndəsidirsə, metrik yalnız natamam deyil, səssizcə ayrı-seçkilik yaradır. Əksəriyyət üçün təhlükəsizliyi ölçüb bunu hamı üçün təhlükəsizlik adlandırır.

Məqalənin məcbur etdiyi dəyişiklik budur: bu model orta hesabla nə qədər məxfidir? sualından ən çox ifşa olunan pasiyent kimdir və hansı qrupa aiddir? sualına keçmək. Bunlar fərqli suallardır və yalnız ikincisi həqiqi məxfilik sualıdır.

Bu nəyi sübut etmir — və iddia etmir

• Tibbi AI-dan imtina etməyi demir. Müəlliflərin yanaşması geri çəkilmək yox, riski azaltmaqdır: riski ölç və düzəlt, qurmağı dayandırma.
• Hər tibbi modelin məlumat sızdırdığını və ya istifadədə olan hər hansı konkret modelə hücum edildiyini demir. Riskin mövcud və qeyri-bərabər paylandığını, standart ümumi metriklərin isə onu görmədiyini göstərir.
• Sizin qeydlərinizin artıq ifşa olunduğu demək deyil. Hücum üçün konkret şərtlər lazımdır — modelə çıxış, namizəd qeyd və hücumçunun öz infrastrukturu — bu, təsadüfi istifadəçinin adi qabiliyyəti deyil.
• Pasiyent qeydinin məzmununun sızdığını göstərmir. Sızan üzvlükdür — daxil edilmə faktı — və bu, qeydin birbaşa çıxarılmasına görə yox, başqa səbəbdən təhlükəlidir.
• Bərabərsizlikləri bircə sensasiyalı rəqəmə endirmir. Güclü və təkrarlanan nəticə nümunədir: ümumi metriklər fərdi riski az göstərir və yükün ən böyüyü az təmsil olunan pasiyentlərin üzərinə düşür — bu, məlumat dəstləri və yüzlərlə model boyunca görünür.

Dəlil nə qədər güclüdür?

Bu, empirik və metodoloji nəticədir — və kifayət qədər möhkəmdir. Ümumi məxfilik metriklərinin pasiyent-səviyyəli riski sistematik şəkildə az göstərməsi, qalan riskin az təmsil olunan qruplarda cəmlənməsi və model tutumu artdıqca pisləşməsi müxtəlif tipli yeddi məlumat dəsti və hər məlumat dəstində çoxlu model üzrə təkrarlandı. Ölçmə iddiasını tək bir məlumat dəstinin artefaktından fərqləndirib inandırıcı edən məhz bu əhatədir.

İki dürüst məhdudiyyət var. Birincisi, bu, müəlliflərin özlərinin qurduğu hücumları işlədərək ölçülmüş risk nümayişidir; açıqlanmış fərziyyələr altında bacarıqlı hücumçunun nə edə biləcəyini xarakterizə edir, real dünyada belə hücumların nə qədər tez-tez baş verdiyini yox. İkincisi, bəzi pasiyentlər üçün demək olar qüsursuz hücum uğuru kimi parlaq rəqəmlər qəsdən ən pis vəziyyətdə olan şəxsləri təsvir edir; bütün məqsəd də budur və onları “quyruq ortalamanın düşündürdüyündən xeyli ağırdır” kimi oxumaq lazımdır, “pasiyentlərin çoxu ifşa olunub” kimi yox.

Uyğun mövqe nə təşviş, nə də etinasızlıqdır: diqqətli, çoxsaylı məlumat dəstinə əsaslanan bir tədqiqat göstərir ki, tibbi AI məxfiliyini sertifikatlaşdırmaq üçün standart üsul özünün ən pis hallarını görmür — və həmin ən pis hallar ən az təhlükəsizlik payı olan pasiyentlərin üzərinə düşür.

Niyə vacibdir

Bunu texniki dipnotdan daha vacib edən iki şey var.

Birincisi, “məxfiliyi qoruyan” ifadəsinin nə deməsinə icazə verilməli olduğunu dəyişir. Model orta məxfilik göstəricisi ilə yayımlana bilər, həmin göstərici həqiqətən aşağı ola bilər və yenə də membership hücumu ilə demək olar qüsursuz müəyyən edilə bilən pasiyent altqrupunu gizlədə bilər. Məqalənin praktik tələbi konkretdir: buraxılışdan əvvəl məxfilik riskini hər pasiyent üçün qiymətləndirin, istifadədə olan modellərə kimin çıxışı olduğunu məhdudlaşdırın və differential privacy kimi üsullardan istifadə edin — təlim zamanı əlavə edilən kiçik, diqqətlə kalibrlənmiş səs-küy membership hücumlarını zəiflədir, amma modelin faydalılığına real və idarə olunan qiymət bahasına (məxfilik–faydalılıq kompromisi açıqdır, pulsuz deyil). “Ortalamanı yoxladıq” artıq “məxfiliyi yoxladıq” sayılmamalıdır.

İkincisi, məxfiliyi ədalətlə bir-birinə bağlayır. Tibbi məlumatlarda az təmsil olunan — buna görə də artıq tibbi AI tərəfindən daha pis xidmət alan — eyni qrupların məxfiliyinin də bu AI tərəfindən ən zəif qorunduğu üzə çıxır. Birinci bərabərsizliyi aradan qaldırmağa çalışan sahə ikincisini başqasının işi kimi görə bilməz. Söhbət eyni insanlardan gedir.

Tibbi AI məxfiliyi barədə rahatladıcı hekayə — ölçdük, orta göstərici aşağıdır, deməli hər şey qaydasındadır — bu məqalənin sökdüyü hekayədir. Texnologiyadan insanları qorxutmaq üçün yox, standartı aid olduğu yerə aparmaq üçün: ən çox zərər görə biləcək insan üçün də yoxladığınız halda “yerinə yetiririk” deyə biləcəyiniz vəd.

Qısa xülasə

Membership inference hücumları konkret şəxsin qeydinin AI modelinin təlim məlumatlarında olub-olmadığını müəyyən etməyə çalışır — və üzvlüyün özü məlumat verə bildiyi üçün (məsələn, həmin şəxsin müəyyən xəstəliyə sahib olduğunu üzə çıxarmaqla), əsas qeyd heç vaxt görünməsə də bu, real məxfilik sızmasıdır. Əvvəlki işlər belə hücumların məlumat dəsti üzrə orta hesabla nə qədər tez-tez uğur qazandığını ölçürdü. Bu tədqiqat isə riski hər pasiyent üçün, yeddi tibbi məlumat dəsti (görüntüləmə, ECG, elektron qeydlər) və hər birində çoxlu model üzrə ölçdü və ümumi metriklərin riski ciddi şəkildə az göstərdiyini tapdı: bütün məlumat dəsti üzrə orta göstərici təhlükəsiz görünsə də bəzi şəxslər demək olar qüsursuz müəyyən edilə bilər (hücum AUC-si ≥ 0.95); ən həssaslar sistematik olaraq az təmsil olunan qruplardandır (etnik azlıqlar, nadir xəstəlik, qeyri-adi görüntüləmə); model böyüdükcə problem də artır. Müəlliflər tibbi AI-dan imtina etməyi yox, məxfiliyi fərdi səviyyədə ölçməyi, modelə çıxışı nəzarətdə saxlamağı və differential privacy istifadə etməyi təklif edirlər. Nəticə: “orta hesabla məxfi” məxfilik zəmanəti deyil və bu zəmanətin pozulduğu insanlar adətən onsuz da ən az qorunanlardır.