Računalništvo
Jezika, ki ne vpliva na način vašega razmišljanja o programiranju, ni vredno poznati.
— (1982)
Izkušeni razvijalci so se z AI počutili hitrejše, merljivo pa so delali počasneje — pravi rezultat in sodba o programiranju z AI, ki je ta študija ne daje
V randomiziranem kontroliranem preskusu METR je šestnajst izkušenih odprtokodnih razvijalcev opravilo 246 resničnih nalog v kodnih bazah, ki so jih dobro poznali; pri naključni polovici nalog so smeli uporabljati orodja AI iz začetka leta 2025 (Cursor Pro ter Claude 3.5/3.7 Sonnet). Pričakovali so, da bo AI čas naloge skrajšala za približno 24 %; namesto tega se je čas dokončanja podaljšal za 19 % — po koncu pa so še vedno verjeli, da jih je AI pospešila za približno 20 %. Prav ta razkorak med občutkom in meritvijo je najostrejši in najbolj robusten rezultat študije. Toda gre za šestnajst razvijalcev, eno ozko okolje in posnetek orodij iz začetka leta 2025: avtorji izrecno poudarjajo, da rezultat ne kaže, da AI večini razvijalcev ne pomaga, njihov lastni nadaljnji poskus iz leta 2026 pa že nakazuje pospešek, z lastnimi omejitvami.
Kriptografski dokaz lahko skrije svojo skrivnost tako, da je odsotnost simulatorja težko dokazati
Dokazi brez razkritja omogočajo, da nekdo dokaže trditev, ne da bi razkril pričo. Klasična teorija pravi, da tega v polnem pomenu ni mogoče doseči z enim samim sporočilom, brez zaupanja vredne priprave in ob popolni zanesljivosti. Članek Rahula Ilanga te nemogočnosti ne odpravlja. Spremeni cilj: namesto zahteve, da simulator res obstaja, zahteva, da izbrani formalni dokazovalni sistem ne more učinkovito dokazati, da simulator ne obstaja. Ob pomembnih predpostavkah iz teorije dokazov in kriptografije to zadošča, da se lastnost za lastnostjo povrnejo preverljive, na igrah temelječe posledice znanja brez razkritja. Ne gre za kriptografski gradnik, ki bi ga lahko jutri vključili v internetni protokol. Gre za dokaznoteoretičen način, kako matematično nedokazljivost spremeniti v kriptografsko kritje.
Medicinska AI je lahko v povprečju zasebna in hkrati razkrije posamezne bolnike — najbolj prav podzastopane
Trditev, da medicinski model AI »varuje zasebnost«, navadno temelji na eni povprečni številki. Ta študija trdi, da je to napačen preizkus. Avtorji so pri napadih sklepanja o članstvu — ki razkrijejo, ali je bil zapis določene osebe v učnih podatkih modela in s tem lahko izdajo, da je imela določeno bolezen — merili tveganje pri posameznem bolniku, ne le agregatno, na sedmih medicinskih podatkovnih zbirkah (slike, EKG, elektronski zapisi) in številnih modelih. Vzorec: modeli, ki so v povprečju videti varni, lahko še vedno omogočajo skoraj popolno identifikacijo določenih posameznikov (AUC napada ≥ 0,95); izpostavljeni so sistematično ljudje iz podzastopanih skupin (manjšinske etnične skupine, redke bolezni, nenavadne slikovne značilnosti); tveganje pa se povečuje z velikostjo modela. Avtorji ne pravijo, naj medicinsko AI opustimo — zahtevajo merjenje zasebnosti po bolniku, nadzor dostopa do modelov in diferencialno zasebnost. Neprijetno jedro: »zasebno v povprečju« ni jamstvo zasebnosti in odpove prav pri bolnikih, ki so že najmanj zaščiteni.
Kako naučiti risarsko umetno inteligenco, da pogleda na stran
Jezikovni modeli, ki ustvarjajo vektorsko grafiko, to navadno počnejo na slepo — izpisujejo ukaze za risanje, ne da bi videli rezultat. Nova metoda modelu omogoči, da korak za korakom opazuje, kako nastaja platno, pošteni preobrat pa je, da samo dodajanje »oči« kakovost poslabša: model se mora naučiti, kako jih uporabljati. Rezultat je model, ki na enem benchmarku doseže ali rahlo preseže tekmece, učene z do dvajsetkrat več podatki — resničen in previden rezultat, ne revolucija.
Agent umetne inteligence je samostojno obdelal celotne primere bolnikov — v simulatorju, na preteklih zapisih
MIRA je nova vrsta medicinske umetne inteligence: namesto odgovora na eno vprašanje v simuliranem bolnišničnem zapisu obravnava celoten primer — zbere anamnezo, naroči in prebere preiskave, postavi diagnozo in napiše naročila. Na 574 retrospektivnih primerih iz javne baze, pri osmih vnaprej izbranih diagnozah, avtorji poročajo o višji diagnostični natančnosti kot pri zdravnikih ter večinoma zmerno skladnih in varnih odločitvah glede zdravil. Vsak kvalifikator v tej povedi šteje: sistem je deloval v peskovniku na preteklih zapisih, samo z besedilom; velik del prednosti je izhajal iz bolezni z jasnimi rezultati preiskav; naročil je približno dvakrat več krvnih testov kot zdravniki; več izidov pa je bilo ocenjenih glede na to, kar je bilo zapisano v prvotni dokumentaciji. Resnični napredek je agent, ki deluje čez celoten potek dela — ne dokaz, da stroj zdaj diagnosticira bolje od zdravnika. Avtorji to izrecno priznavajo: generalizacijo, varnost in upravljanje je treba še preizkusiti prospektivno in v resničnem svetu.
Ali veliki robotski 'temeljni modeli' res delujejo bolje? Previden odgovor — nekoliko da, večina raziskav pa tega ne zna zanesljivo izmeriti
Toyota Research Institute je izuril 'large behavior models' — robotske politike, predhodno učene na približno 1.700 urah raznovrstnih manipulacij — in jih z nenavadno strogo metodologijo primerjal s politikami za posamezne naloge, učenimi od začetka: slepi, naključni, obsežni testi (~1.800 v resničnem svetu, več kot 47.000 v simulaciji) z ustrezno statistiko. Po dodatnem učenju za posamezno nalogo so veliki modeli v povprečju delovali bolje, potrebovali približno 3–5-krat manj podatkov za posamezno nalogo in bili robustnejši ob spremembi pogojev; uspešnost je gladko naraščala z več podatki za predhodno učenje. Brez dodatnega učenja pa niso dosledno prekašali modelov za eno nalogo, več učinkov je bilo tako majhnih, da so jih razkrili šele veliki vzorci, banalna odločitev o normalizaciji podatkov pa je vplivala bolj kot arhitektura. To je izmerjena podpora smeri robotskih temeljnih modelov — ne splošnonamenski robot, ne zero-shot generalist in ne 'emergentni skok' — ter ostro opozorilo, da velik del robotike morda meri šum.
Zakaj jezikovni modeli halucinirajo — in zakaj jih način ocenjevanja pri tem ohranja
Samozavestne neresnice, ki jim pravimo »halucinacije«, niso skrivnostna napaka: nekatere so statističen stranski produkt učenja, vztrajajo pa tudi zato, ker običajni benchmarki nagradijo samozavesten ugibanje bolj kot pošten »ne vem«. Študija primera na štirih vodilnih modelih kaže, da zapis pravil točkovanja neposredno v promptu (»odprte rubrike«) ta spodbujevalni učinek obrne.