Računalna znanost
Jezik koji ne utječe na način na koji razmišljate o programiranju nije vrijedan poznavanja.
— (1982)
Iskusni programeri osjećali su da su brži uz AI, iako su mjerljivo radili sporije — to je pravi nalaz, a ne presuda o programiranju uz AI
U randomiziranom kontroliranom ispitivanju METR je dao šesnaestorici iskusnih developera otvorenog koda 246 stvarnih zadataka na bazama koda koje dobro poznaju, uz alate AI-ja s početka 2025. (Cursor Pro i Claude 3.5/3.7 Sonnet) dopuštene na nasumično odabranoj polovici. Očekivali su da će AI skratiti vrijeme rada za oko 24%; umjesto toga, vrijeme završetka poraslo je za 19% — a poslije su i dalje vjerovali da ih je AI ubrzao za oko 20%. Taj jaz između percepcije i mjerenja najčvršći je dio studije. Ali riječ je o šesnaest developera, jednom uskom okruženju i fiksnoj snimci s početka 2025.: autori izričito navode da to ne pokazuje kako AI ne pomaže većini developera, a njihov vlastiti nastavak iz 2026. već naginje prema ubrzanju, uz vlastita ograničenja.
Kriptografski dokaz može sakriti tajnu tako da je teško dokazati odsutnost simulatora
Zero-knowledge dokazi omogućuju dokazivanje tvrdnje bez otkrivanja svjedoka. Klasična teorija kaže da to, u punom smislu, ne možete imati s jednom porukom, bez pouzdanog setupa i sa savršenom zvučnošću. Rad Rahula Ilanga ne čini tu nemogućnost nestalom. Mijenja cilj: umjesto zahtjeva da simulator stvarno postoji, traži da nijedan odabrani dokazni sustav ne može učinkovito dokazati da simulator ne postoji. Pod velikim pretpostavkama iz složenosti dokaza i kriptografije to je dovoljno za vraćanje falsificabilnih, na sigurnosnim igrama utemeljenih posljedica zero-knowledgea, svojstvo po svojstvo. Poanta nije gotov internetski primitiv. To je dokazno-teorijski način pretvaranja matematičke nedokazivosti u kriptografski zaklon.
Medicinski AI može biti privatan u prosjeku, a ipak izložiti pojedine pacijente — osobito nedovoljno zastupljene
Za model medicinske umjetne inteligencije koji se naziva „privacy-preserving” obično se navodi jedan prosječni broj. Ova studija tvrdi da je to pogrešan test. Proučavajući napade zaključivanja o članstvu — koji otkrivaju je li zapis određene osobe bio u podacima za treniranje i time mogu odati da je imala neku bolest — autori su mjerili rizik po pacijentu, a ne zbirno, preko sedam medicinskih skupova podataka (snimke, EKG, elektronički kartoni) i mnogo modela po skupu. Obrazac je jasan: modeli koji u prosjeku izgledaju sigurni ipak mogu omogućiti gotovo savršenu identifikaciju određenih pojedinaca (AUC napada ≥ 0.95); izloženi su sustavno pripadnici nedovoljno zastupljenih skupina (manjinske etničke skupine, rijetke bolesti, neuobičajene snimke); a problem se pogoršava kako modeli rastu. Autori ne kažu da treba napustiti medicinski AI — traže mjerenje privatnosti po pacijentu, kontrolu pristupa modelima i diferencijalnu privatnost. Neugodna srž: „privatno u prosjeku” nije jamstvo privatnosti i najčešće zakaže kod pacijenata koji su već najslabije zaštićeni.
Kako naučiti AI koji crta da gleda stranicu
Jezični modeli koji generiraju vektorsku grafiku rade to naslijepo — ispisuju naredbe za crtanje a da nikada ne vide rezultat. Nova metoda dopušta modelu da gleda kako se njegovo platno ispunjava potez po potez, a pošteni obrat jest da samo davanje očiju pogoršava rezultat: model se mora ponovno trenirati da ih koristi. Dobit je model koji se izjednačuje ili blago nadmašuje suparnike trenirane na do dvadeset puta više podataka — stvaran, pažljiv rezultat na jednom benchmarku, ne revolucija.
AI agent samostalno je obrađivao cijele slučajeve pacijenata — u simulatoru, na starim kartonima
MIRA je nova vrsta medicinske umjetne inteligencije: umjesto odgovora na jedno pitanje, obrađuje cijeli slučaj unutar simuliranog bolničkog kartona — uzima anamnezu, naručuje i čita pretrage, dolazi do dijagnoze i piše naloge. Na 574 retrospektivna slučaja iz javne baze, kroz osam unaprijed odabranih dijagnoza, autori navode da je nadmašila liječnike u dijagnostičkoj točnosti i donosila odluke koje su uglavnom bile usklađene sa smjernicama i sigurne u pogledu lijekova. Svaka ograda u toj rečenici važna je: radila je u sandboxu na starim kartonima i samo u tekstu; velik dio prednosti došao je kod stanja s jasnim rezultatima pretraga; naručivala je otprilike dvostruko više krvnih pretraga od liječnika; a nekoliko ishoda ocjenjivano je prema onome što je izvorni karton zabilježio. Stvarni napredak je agent koji djeluje kroz cijeli tijek rada — ne dokaz da stroj sada dijagnosticira bolje od liječnika. Autori to i sami kažu: generalizacija, sigurnost i upravljanje još zahtijevaju prospektivne studije u stvarnom svijetu.
Rade li veliki robotski „temeljni modeli” doista bolje? Pažljiv odgovor: skromno da, a većina studija to ne može pouzdano razlučiti
Toyota Research Institute trenirao je „velike modele ponašanja” — robotske politike predtrenirane na ~1,700 sati raznolikih podataka o manipulaciji — i usporedio ih s politikama za jedan zadatak treniranima od nule uz neuobičajenu rigoroznost: slijepi, randomizirani pokusi velikog uzorka (~1,800 u stvarnom svijetu, 47,000+ u simulaciji) i prava statistika. Nakon dodatnog treniranja za pojedini zadatak veliki modeli bili su u prosjeku bolji, trebali su približno 3–5× manje podataka specifičnih za zadatak i bili robusniji kada su se uvjeti mijenjali; izvedba je postupno rasla s više podataka za predtreniranje. Ali bez dodatnog treniranja nisu dosljedno nadmašivali modele za jedan zadatak, neki su učinci bili toliko mali da su zahtijevali velike uzorke, a obična odluka o normalizaciji podataka bila je važnija od arhitekture. To je odmjerena potpora smjeru robotskih temeljnih modela — ne općenamjenski robot, ne zero-shot generalist, ne „emergentni skok” — i oštro upozorenje da velik dio robotike možda mjeri šum.
Zašto jezični modeli haluciniraju — i zašto ih način na koji ih ocjenjujemo u tome održava
Samouvjerene neistine koje nazivamo „halucinacijama” nisu misteriozni kvar: neke su statistički nusproizvod treniranja, a opstaju zato što glavni benchmarkovi nagrađuju samouvjereno pogađanje više od poštenog „ne znam”. Studija slučaja na četiri frontier modela pokazuje da navođenje pravila bodovanja u promptu („otvorene rubrike”) okreće taj poticaj.