Računarske nauke
A language that doesn't affect the way you think about programming, is not worth knowing.
— (1982)
Iskusni programeri osjećali su se bržima uz umjetnu inteligenciju, dok su mjerljivo radili sporije — stvarni nalaz, a ne presuda o programiranju uz AI
U randomiziranom kontroliranom istraživanju organizacije METR šesnaest iskusnih programera otvorenog koda obavilo je 246 stvarnih zadataka u repozitorijima koje su dobro poznavali, uz dopuštenu upotrebu alata umjetne inteligencije iz početka 2025. (Cursor Pro te Claude 3.5/3.7 Sonnet) na nasumično odabranoj polovini zadataka. Očekivali su da će AI skratiti vrijeme rada za oko 24%; umjesto toga produžio ga je za 19% — a nakon istraživanja i dalje su vjerovali da ih je ubrzao za oko 20%. Taj jaz u percepciji oštro je i pouzdano središte studije. Ali riječ je o šesnaest programera, jednom uskom okruženju i fiksnom presjeku iz početka 2025: autori izričito kažu da rezultat ne pokazuje kako AI ne pomaže većini programera, a njihovo vlastito praćenje iz 2026. već naginje ubrzanju, uz vlastita ograničenja.
Kriptografski dokaz može sakriti svoju tajnu tako što je teško dokazati da simulator nedostaje
Dokazi nultog znanja omogućavaju nekome da dokaže tvrdnju bez otkrivanja svjedoka. Klasična teorija kaže da to, u punom smislu, nije moguće uz jednu poruku, bez pouzdane početne postavke i sa savršenom pouzdanošću. Rad Rahula Ilanga ne uklanja tu nemogućnost. On mijenja cilj: umjesto zahtjeva da simulator zaista postoji, traži se da nijedan odabrani dokazni sistem ne može efikasno dokazati da simulator ne postoji. Uz snažne pretpostavke o složenosti dokaza i kriptografiji, to je dovoljno da se, svojstvo po svojstvo, povrate opovrgljive posljedice nultog znanja zasnovane na igrama. Cilj nije gotova internetska primitiva. To je pristup iz teorije dokaza kojim se matematička nedokazivost pretvara u kriptografski zaklon.
Medicinska umjetna inteligencija može biti privatna u prosjeku, a ipak izložiti pojedine pacijente — najviše one nedovoljno zastupljene
Model medicinske umjetne inteligencije koji se naziva „zaštićenim u pogledu privatnosti” obično se oslanja na jedan prosječan broj. Ova studija tvrdi da je taj broj pogrešan test. Proučavajući napade zaključivanja o članstvu — koji otkrivaju je li zapis određene osobe bio u podacima za obuku modela i tako mogu odati da je osoba imala određenu bolest — autori su mjerili rizik za svakog pacijenta, umjesto zbirno, u sedam skupova medicinskih podataka (snimci, EKG, elektronski zapisi) i brojnim modelima za svaki skup. Obrazac je jasan: modeli koji u prosjeku djeluju sigurni napadaču ipak mogu omogućiti gotovo savršenu identifikaciju određenih pojedinaca (AUC napada ≥ 0,95); izloženi sistematski pripadaju nedovoljno zastupljenim grupama (manjinska etnička pripadnost, rijetka bolest, neuobičajeni snimci); a problem se pogoršava kako modeli rastu. Autori ne kažu da treba napustiti medicinsku umjetnu inteligenciju — već da privatnost treba mjeriti po pacijentu, kontrolirati pristup modelu i koristiti diferencijalnu privatnost. Neugodna srž zaključka: „privatno u prosjeku” nije garancija privatnosti i iznevjerava pacijente koji su već najmanje zaštićeni.
Kako naučiti vještačku inteligenciju koja crta da gleda stranicu
Jezički modeli koji stvaraju vektorsku grafiku rade to naslijepo — ispisuju naredbe za crtanje, a da nikada ne vide rezultat. Nova metoda omogućava modelu da posmatra kako se njegovo platno ispunjava, potez po potez, a pošteni obrat je da samo davanje očiju pogoršava rezultat: model se mora ponovo trenirati da ih koristi. Dobit je model koji dostiže ili blago nadmašuje suparnike trenirane na do dvadeset puta više podataka — stvaran, pažljivo utvrđen rezultat na jednom benchmarku, a ne revolucija.
AI agent samostalno je obrađivao cijele slučajeve pacijenata — u simulatoru, na starim kartonima
MIRA je nova vrsta medicinske vještačke inteligencije: umjesto da odgovori na jedno pitanje, obrađuje cijeli slučaj unutar simuliranog bolničkog kartona — uzima anamnezu, naručuje i čita pretrage, dolazi do dijagnoze i piše naloge. Na 574 retrospektivna slučaja iz javne baze, kroz osam unaprijed odabranih dijagnoza, autori navode da je nadmašila ljekare u dijagnostičkoj tačnosti i donosila odluke koje su uglavnom bile usklađene sa smjernicama i sigurne u pogledu lijekova. Svaka ograda u toj rečenici važna je: radila je u sandboxu na starim kartonima i samo u tekstu; veliki dio prednosti postigla je kod stanja s jasnim rezultatima pretraga; naručivala je približno dvostruko više krvnih pretraga od ljekara; a nekoliko ishoda ocjenjivano je prema onome što je zabilježeno u izvornom kartonu. Stvarni napredak je agent koji djeluje kroz cijeli tok rada — a ne dokaz da mašina sada postavlja dijagnoze bolje od ljekara. Autori to i sami kažu: generalizacija, sigurnost i upravljanje i dalje zahtijevaju prospektivne studije u stvarnom svijetu.
Da li veliki robotski „temeljni modeli” zaista rade bolje? Pažljiv odgovor: skromno da, a većina studija to ne može pouzdano utvrditi
Toyota Research Institute trenirao je „velike modele ponašanja” — robotske politike prethodno trenirane na ~1,700 sati raznovrsnih podataka o manipulaciji — i uporedio ih s politikama za jedan zadatak treniranim od nule uz neuobičajenu strogost: slijepi, randomizirani eksperimenti s velikim uzorcima (~1,800 u stvarnom svijetu, 47,000+ u simulaciji) i prava statistika. Nakon dodatnog treniranja za pojedinačne zadatke veliki modeli bili su u prosjeku bolji, trebali su približno 3–5× manje podataka specifičnih za zadatak i bili su otporniji kada su se uvjeti mijenjali; učinak je postepeno rastao s više podataka za prethodno treniranje. Ali bez dodatnog treniranja nisu dosljedno nadmašivali modele za jedan zadatak, nekoliko efekata bilo je toliko malo da su bili vidljivi tek na velikim uzorcima, a običan izbor načina normalizacije podataka bio je važniji od arhitekture. To je odmjerena podrška pravcu robotskih temeljnih modela — ne robot opće namjene, ne zero-shot generalista, ne „emergentni skok” — i jasno upozorenje da veliki dio robotike možda mjeri šum.
Zašto jezički modeli haluciniraju — i zašto ih način na koji ih ocjenjujemo u tome održava
Samouvjerene neistine koje nazivamo „halucinacijama” nisu misteriozni kvar: neke su statistički nusproizvod treniranja, a opstaju zato što glavni benchmarkovi više nagrađuju samouvjereno pogađanje nego pošteno „ne znam”. Studija slučaja na četiri najnaprednija modela pokazuje da navođenje pravila bodovanja u promptu („otvorene rubrike”) preokreće taj poticaj.