Računarske nauke
Језик који не утиче на начин на који размишљате о програмирању не вреди учити.
— (1982)
Iskusni programeri osećali su da su brži uz AI, iako su merljivo radili sporije — to je pravi nalaz, a ne presuda o programiranju uz AI
U randomizovanom kontrolisanom ispitivanju METR je dao šesnaestorici iskusnih developera otvorenog koda 246 stvarnih zadataka na bazama koda koje dobro poznaju, uz alate AI-ja s početka 2025. (Cursor Pro i Claude 3.5/3.7 Sonnet) dozvoljene na nasumično odabranoj polovini. Očekivali su da će AI skratiti vreme rada za oko 24%; umesto toga, vreme završetka poraslo je za 19% — a posle su i dalje verovali da ih je AI ubrzao za oko 20%. Taj jaz između percepcije i merenja najčvršći je deo studije. Ali reč je o šesnaest developera, jednom uskom okruženju i fiksnoj snimci s početka 2025.: autori izričito navode da to ne pokazuje kako AI ne pomaže većini developera, a njihov sopstveni nastavak iz 2026. već naginje prema ubrzanju, uz sopstvena ograničenja.
Kriptografski dokaz može sakriti tajnu tako da je teško dokazati odsutnost simulatora
Zero-knowledge dokazi omogućuju dokazivanje tvrdnje bez otkrivanja svedoka. Klasična teorija kaže da to, u punom smislu, ne možete imati s jednom porukom, bez pouzdanog setupa i sa savršenom zvučnošću. Rad Rahula Ilanga ne čini tu nemogućnost nestalom. Menja cilj: umesto zahteva da simulator stvarno postoji, traži da nijedan odabrani dokazni sistem ne može efikasno dokazati da simulator ne postoji. Pod velikim pretpostavkama iz složenosti dokaza i kriptografije to je dovoljno za vraćanje falsificabilnih, na bezbednosnim igrama zasnovanih posledica zero-knowledgea, svojstvo po svojstvo. Poenta nije gotov internetski primitiv. To je dokazno-teorijski način pretvaranja matematičke nedokazivosti u kriptografski zaklon.
Medicinski AI može biti privatan u proseku, a ipak izložiti pojedine pacijente — naročito nedovoljno zastupljene
Za model medicinske veštačke inteligencije koji se naziva „privacy-preserving” obično se navodi jedan prosečni broj. Ova studija tvrdi da je to pogrešan test. Proučavajući napade zaključivanja o članstvu — koji otkrivaju da li je zapis određene osobe bio u podacima za treniranje i time mogu odati da je imala neku bolest — autori su merili rizik po pacijentu, a ne zbirno, preko sedam medicinskih skupova podataka (snimke, EKG, elektronski kartoni) i mnogo modela po skupu. Obrazac je jasan: modeli koji u proseku izgledaju sigurni ipak mogu omogućiti gotovo savršenu identifikaciju određenih pojedinaca (AUC napada ≥ 0.95); izloženi su sistemno pripadnici nedovoljno zastupljenih grupa (manjinske etničke grupe, retke bolesti, neuobičajene snimke); a problem se pogoršava kako modeli rastu. Autori ne kažu da treba napustiti medicinski AI — traže merenje privatnosti po pacijentu, kontrolu pristupa modelima i diferencijalnu privatnost. Neugodna srž: „privatno u proseku” nije garancija privatnosti i najčešće zakaže kod pacijenata koji su već najslabije zaštićeni.
Kako naučiti AI koji crta da gleda stranicu
Jezični modeli koji generišu vektorsku grafiku rade to naslepo — ispisuju naredbe za crtanje a da nikada ne vide rezultat. Nova metoda dozvolja modelu da gleda kako se njegovo platno ispunjava potez po potez, a pošteni obrat jest da samo davanje očiju pogoršava rezultat: model se mora ponovo trenirati da ih koristi. Dobit je model koji se izjednačuje ili blago nadmašuje konkurente trenirane na do dvadeset puta više podataka — stvaran, pažljiv rezultat na jednom benčmarku, ne revolucija.
AI agent samostalno je obrađivao cele slučajeve pacijenata — u simulatoru, na starim kartonima
MIRA je nova vrsta medicinske veštačke inteligencije: umesto odgovora na jedno pitanje, obrađuje celi slučaj unutar simuliranog bolničkog kartona — uzima anamnezu, naručuje i čita pretrage, dolazi do dijagnoze i piše naloge. Na 574 retrospektivna slučaja iz javne baze, kroz osam unapred odabranih dijagnoza, autori navode da je nadmašila lečnike u dijagnostičkoj tačnosti i donosila odluke koje su uglavnom bile usklađene sa smernicama i sigurne u pogledu lekova. Svaka ograda u toj rečenici važna je: radila je u sandboxu na starim kartonima i samo u tekstu; velik deo prednosti došao je kod stanja s jasnim rezultatima pretraga; naručivala je otprilike dvostruko više krvnih pretraga od lekara; a nekoliko ishoda ocenjivano je prema onome što je originalni karton zabeležio. Stvarni napredak je agent koji deluje kroz celi tok rada — ne dokaz da mašina sada dijagnosticira bolje od lekara. Autori to i sami kažu: generalizacija, bezbednost i upravljanje još zahtevaju prospektivne studije u stvarnom svetu.
Rade li veliki robotski „osnovni modeli” zaista bolje? Pažljiv odgovor: skromno da, a većina studija to ne može pouzdano razlikovati
Toyota Research Institute trenirao je „velike modele ponašanja” — robotske politike predtrenirane na ~1,700 sati raznolikih podataka o manipulaciji — i uporedio ih s politikama za jedan zadatak treniranima od nule uz neuobičajenu rigoroznost: slepi, randomizovani eksperimenti velikog uzorka (~1,800 u stvarnom svetu, 47,000+ u simulaciji) i prava statistika. Nakon dodatnog treniranja za pojedini zadatak veliki modeli bili su u proseku bolji, trebali su približno 3–5× manje podataka specifičnih za zadatak i bili robusniji kada su se uslovi menjali; izvedba je postupno rasla s više podataka za predtreniranje. Ali bez dodatnog treniranja nisu dosledno nadmašivali modele za jedan zadatak, neki su efekti bili toliko mali da su zahtevali velike uzorke, a obična odluka o normalizaciji podataka bila je važnija od arhitekture. To je odmerena podrška smeru robotskih osnovnih modela — ne opštenamenski robot, ne zero-shot generalist, ne „emergentni skok” — i oštro upozorenje da velik deo robotike možda meri šum.
zašto jezički modeli haluciniraju — i zašto ih način na koji ih ocenjujemo u tome održava
Samouverene neistine koje nazivamo „halucinacijama” nisu misteriozni kvar: neke su statistički nusproizvod treniranja, a opstaju zato što glavni benčmarkovi nagrađuju samouvereno pogađanje više od poštenog „ne znam”. Studija slučaja na četiri najnaprednija modela pokazuje da navođenje pravila bodovanja u promptu („otvorene šeme bodovanja”) okreće taj podsticaj.