Datorzinātne
Valodu, kas neietekmē tavu domāšanu par programmēšanu, nav vērts zināt.
— (1982)
Pieredzējuši izstrādātāji ar MI jutās ātrāki, lai gan izmērāmi strādāja lēnāk — īstais secinājums un tas, ko šis pētījums nesaka par MI programmēšanā
METR nejaušinātā kontrolētā pētījumā 16 pieredzējuši atvērtā pirmkoda izstrādātāji veica 246 reālus uzdevumus labi pazīstamās kodu bāzēs, nejauši atļaujot izmantot 2025. gada sākuma MI rīkus (Cursor Pro ar Claude 3.5/3.7 Sonnet). Viņi gaidīja aptuveni 24% laika ietaupījumu; tā vietā uzdevumi prasīja par 19% vairāk laika, bet pēc darba viņi joprojām uzskatīja, ka MI viņus paātrinājis par aptuveni 20%. Šī uztveres plaisa ir pētījuma robustākais rezultāts. Tomēr tie ir tikai 16 izstrādātāji vienā šaurā kontekstā un fiksēts 2025. gada sākuma momentuzņēmums; autori uzsver, ka tas neparāda, ka MI nepalīdz lielākajai daļai izstrādātāju, un viņu pašu 2026. gada dati jau sliecas paātrinājuma virzienā, lai gan ar atrunām.
Kriptogrāfisks pierādījums var noslēpt savu noslēpumu, padarot neesoša simulatora pierādīšanu grūtu
Nulles zināšanu pierādījumi ļauj pierādīt apgalvojumu, neatklājot liecinieku. Klasiskā teorija saka, ka pilnā nozīmē to nevar iegūt ar vienu ziņojumu, bez uzticamas sākotnējās iestatīšanas un ar perfektu drošumu pret nepatiesiem apgalvojumiem. Rahul Ilango darbs šo neiespējamību neatceļ. Tas maina mērķi: tā vietā, lai prasītu, lai simulators patiešām eksistētu, pietiek ar to, ka izvēlētā formālā pierādījumu sistēma nespēj efektīvi pierādīt, ka simulatora nav. Pie nozīmīgiem pieņēmumiem par pierādījumu sarežģītību un kriptogrāfiju ar to pietiek, lai pa vienai atgūtu falsificējamas, spēlēs pārbaudāmas nulles zināšanu drošības sekas. Tas nav gatavs interneta protokols. Tā ir pierādījumu teorijas pieeja, kas matemātisku nepierādāmību pārvērš par kriptogrāfisku aizsegu.
Medicīniskais MI var būt privāts vidēji, bet tomēr atklāt konkrētus pacientus — visvairāk nepietiekami pārstāvētās grupas
Medicīniska MI modeļa apzīmējums “privātumu saglabājošs” parasti balstās vienā vidējā rādītājā. Šis pētījums apgalvo, ka tas ir nepareizais kritērijs. Analizējot dalības noteikšanas uzbrukumus — mēģinājumus noskaidrot, vai konkrētas personas ieraksts bija modeļa mācību datos un tādējādi netieši atklāt, piemēram, noteiktas slimības faktu — autori risku mērīja katram pacientam atsevišķi, nevis tikai kopumā. Septiņās medicīnas datu kopās (attēli, EKG, elektroniskie veselības ieraksti) un daudzos modeļos atkārtojās viena aina: modelis var izskatīties drošs vidēji, bet dažus cilvēkus uzbrucējs joprojām var identificēt gandrīz nevainojami (uzbrukuma AUC ≥ 0,95); visvairāk apdraudēti sistemātiski ir nepietiekami pārstāvēto grupu pacienti — etniskās minoritātes, retu slimību pacienti vai cilvēki ar neparastiem attēlveidošanas raksturlielumiem — un, modeļiem kļūstot lielākiem, problēma saasinās. Autori neaicina atteikties no medicīniskā MI: viņi iesaka privātumu vērtēt katram pacientam, kontrolēt piekļuvi modeļiem un izmantot diferenciālo privātumu. Neērtais kodols ir vienkāršs: “privāts vidēji” nav privātuma garantija, un visbiežāk tā pieviļ tos pacientus, kuri jau tā ir vismazāk aizsargāti.
Iemācīt zīmējošam MI skatīties uz lapu
Valodas modeļi, kas ģenerē vektorgrafiku, tradicionāli to dara akli — raksta zīmēšanas komandas, neredzot rezultātu. Jauna metode ļauj modelim vērot, kā audekls piepildās soli pa solim, taču svarīgākais pavērsiens ir tas, ka vienkārši “iedot acis” rezultātus pasliktina: modelis jāpārtrenē, lai tas spētu redzi izmantot. Pēc tam tas vienā etalonā sasniedz vai nedaudz pārspēj konkurentus, kas trenēti ar līdz pat divdesmit reižu vairāk datu — īsts, rūpīgs rezultāts, nevis revolūcija.
MI aģents pats izvadīja veselus pacientu gadījumus — simulatorā, izmantojot vēsturiskus ierakstus
MIRA ir citāda veida medicīniskais MI: nevis atbildēt uz vienu jautājumu, bet izvadīt visu gadījumu simulētā slimnīcas elektroniskajā kartē — ievākt anamnēzi, nozīmēt un interpretēt izmeklējumus, nonākt pie diagnozes un sagatavot rīkojumus. 574 retrospektīvos gadījumos no publiskas datubāzes, aptverot astoņas iepriekš izvēlētas diagnozes, autori ziņo par augstāku diagnostisko precizitāti nekā ārstiem un lielākoties vadlīnijām atbilstošiem, medikamentu ziņā drošiem lēmumiem. Taču katrs precizējums šajā teikumā ir būtisks: sistēma darbojās izolētā vidē ar pagātnes ierakstiem un tikai tekstu; liela daļa pārsvara bija slimībās ar skaidriem testa rezultātiem; tā izmantoja aptuveni divreiz vairāk asins analīžu parametru nekā ārsti; un vairāki iznākumi tika vērtēti pret to, kas bija ierakstīts sākotnējā slimības vēsturē. Patiesais jaunums ir aģents, kas rīkojas visā darbplūsmā — nevis pierādījums, ka mašīna tagad diagnosticē labāk par ārstu. Arī autori to uzsver: vispārināmība, drošība un pārvaldība vēl jāpārbauda prospektīvos reālās pasaules pētījumos.
Vai lieli robotu “foundation modeļi” tiešām strādā labāk? Rūpīga atbilde — mēreni jā, un daudzi pētījumi to nespēj droši izmērīt
Toyota Research Institute apmācīja “large behavior models” — robotu politikas, kas priekšapmācītas uz ~1700 stundām daudzveidīgu manipulācijas datu — un ar neparasti stingru protokolu salīdzināja tās ar viena uzdevuma modeļiem no nulles: akli, randomizēti, lieli paraugi (~1800 reāli, >47 000 simulācijas) un formāla statistika. Pēc uzdevuma specifiskas papildapmācības lielie modeļi vidēji darbojās labāk, prasīja ~3–5× mazāk konkrētā uzdevuma datu un bija noturīgāki mainītos apstākļos; veiktspēja gludi auga ar priekšapmācības datiem. Taču bez papildapmācības tie konsekventi nepārspēja viena uzdevuma modeļus, vairāki efekti bija tik mazi, ka vajadzēja lielus paraugus, un parasta datu normalizācija ietekmēja rezultātu vairāk nekā arhitektūra. Tas ir izmērīts atbalsts robotu foundation modeļu virzienam — ne universāls robots, ne zero-shot ģenerālists, ne “emergents lēciens” — un brīdinājums, ka daļa robotikas var mērīt troksni.
Kāpēc valodas modeļi halucinē — un kāpēc mūsu vērtēšanas veids to uztur
Pārliecinošās nepatiesības, ko saucam par “halucinācijām”, nav mistiska kļūme: daļa ir statistisks apmācības blakusefekts, bet tās saglabājas arī tāpēc, ka galvenie etaloni atalgo pārliecinošu minējumu vairāk nekā godīgu “nezinu”. Gadījuma pētījumā ar četriem vadošiem modeļiem punktu noteikumu ierakstīšana uzvednē (“atklātas vērtēšanas shēmas”) šo motivāciju apgriež.