Informatika
Kalbos, kuri neturi įtakos jūsų mąstymui apie programavimą, žinoti neverta.
— (1982)
Patyrusiems programuotojams atrodė, kad su DI jie dirba greičiau, nors išmatuotas darbas truko ilgiau — štai tikrasis rezultatas, o ne galutinis nuosprendis DI programavimui
Atsitiktinių imčių kontroliuojamame METR tyrime šešiolika patyrusių atvirojo kodo programuotojų atliko 246 realias užduotis gerai pažįstamose kodų bazėse; atsitiktinei pusei užduočių buvo leidžiama naudoti 2025 m. pradžios DI įrankius (Cursor Pro ir Claude 3.5/3.7 Sonnet). Jie tikėjosi, kad DI sutrumpins darbą maždaug 24 %, tačiau iš tikrųjų užduočių atlikimo laikas padidėjo 19 % — ir po darbo jie vis tiek manė, kad DI juos paspartino apie 20 %. Būtent šis suvokimo atotrūkis yra tvirčiausias tyrimo rezultatas. Tačiau tai šešiolika programuotojų, siaura situacija ir vieno laikotarpio vaizdas; autoriai pabrėžia, kad tyrimas neparodo, jog DI nepadeda daugumai programuotojų, o jų pačių 2026 m. tęstiniai duomenys jau krypsta į pagreitėjimą, nors ir su savais apribojimais.
Kriptografinis įrodymas gali paslėpti paslaptį todėl, kad sunku įrodyti trūkstamo simuliatoriaus nebuvimą
Nulinio žinojimo įrodymai leidžia įrodyti teiginį neatskleidžiant liudytojo. Klasikinė teorija sako, kad pilna šios savybės versija neįmanoma su viena žinute, be patikimos pradinės sąrankos ir kartu su tobulu patikimumu. Rahulio Ilango straipsnis šios neįmanomybės nepanaikina. Jis pakeičia tikslą: vietoj reikalavimo, kad simuliatorius iš tikrųjų egzistuotų, reikalaujama, kad pasirinkta formali įrodymų sistema negalėtų efektyviai įrodyti, jog simuliatoriaus nėra. Esant svarbioms įrodymų sudėtingumo ir kriptografinėms prielaidoms, to pakanka po vieną atkurti falsifikuojamas, žaidimais grindžiamas nulinio žinojimo saugumo pasekmes. Tai nėra paruoštas interneto protokolas. Tai įrodymų teorijos būdas matematinį neįrodomumą paversti kriptografine priedanga.
Medicininis DI gali būti privatus vidutiniškai ir vis tiek atskleisti konkrečius pacientus – ypač nepakankamai atstovaujamus
Medicininio DI modelio „privatumas“ dažnai apibūdinamas vienu vidutiniu skaičiumi. Šis tyrimas teigia, kad tai netinkamas testas. Autoriai nagrinėjo narystės nustatymo atakas – metodus, leidžiančius spręsti, ar konkretaus žmogaus įrašas buvo modelio mokymo duomenyse ir taip netiesiogiai atskleisti jautrią informaciją – ir riziką matavo kiekvienam pacientui atskirai septyniuose medicinos duomenų rinkiniuose bei daugybėje modelių. Rezultatas: modeliai, kurie vidutiniškai atrodo saugūs, kai kuriuos žmones vis tiek leidžia nustatyti beveik idealiai (atakos AUC ≥ 0,95); labiausiai pažeidžiami sistemingai yra nepakankamai atstovaujamų grupių pacientai; o augant modeliams problema stiprėja. Autoriai nesiūlo atsisakyti medicininio DI – jie siūlo vertinti privatumą paciento lygmeniu, kontroliuoti prieigą ir taikyti diferencinį privatumą. Esmė nepatogi: „privatus vidutiniškai“ nėra privatumo garantija.
Kaip piešiantį DI išmokyti žiūrėti į savo drobę
Kalbos modeliai, generuojantys vektorinę grafiką, dažnai dirba aklai – parašo visas piešimo komandas niekada nepamatę rezultato. Naujas metodas leidžia modeliui stebėti, kaip jo drobė pildosi žingsnis po žingsnio. Sąžiningas posūkis: vien suteikus „akis“ rezultatas blogėja – modelį reikia perapmokyti jomis naudotis. Tada jis viename etalone prilygsta ar truputį lenkia konkurentus, mokytus su iki dvidešimt kartų daugiau duomenų. Tai tikras ir kruopštus vieno etalono rezultatas, ne revoliucija.
DI agentas savarankiškai tvarkė ištisus pacientų atvejus – simuliacijoje, su istoriniais įrašais
MIRA yra naujo tipo medicininis DI: užuot atsakęs į vieną klausimą, agentas izoliuotoje ligoninės įrašų simuliacijoje tvarko visą atvejį – renka anamnezę, užsako ir interpretuoja tyrimus, nustato diagnozę ir suformuoja nurodymus. 574 retrospektyviuose viešos duomenų bazės atvejuose, apimančiuose aštuonias iš anksto pasirinktas diagnozes, autoriai nurodo didesnį diagnostinį tikslumą nei gydytojų ir daugiausia gaires atitinkančius, vaistų požiūriu saugius sprendimus. Tačiau kiekviena šio sakinio išlyga svarbi: sistema veikė simuliacijoje su praeities įrašais ir vien tekstu; didelė persvaros dalis buvo ligose su aiškiais tyrimų rezultatais; ji naudojo maždaug dvigubai daugiau kraujo rodiklių nei gydytojai; keli rezultatai vertinti pagal tai, kas užfiksuota istoriniame įraše. Tikroji pažanga – agentas, galintis veikti per visą darbo eigą, o ne įrodymas, kad mašina diagnozuoja geriau už gydytoją. Patys autoriai pabrėžia, kad generalizacijai, saugai ir valdymui reikia prospektyvių realaus pasaulio tyrimų.
Ar dideli robotų „pamatiniai modeliai“ iš tiesų veikia geriau? Atsargus atsakymas — šiek tiek taip, o dauguma tyrimų to patikimai nepamatuotų
Toyota Research Institute apmokė „didelius elgesio modelius“ – robotų politikas, iš anksto mokytas maždaug 1700 valandų įvairių manipuliavimo duomenų – ir neįprastai griežtai palygino jas su nuo nulio mokytomis vienos užduoties politikomis: akli, atsitiktinės tvarkos, didelės imties bandymai (apie 1800 realių ir daugiau kaip 47 000 simuliacinių) su formalios statistikos analize. Po papildomo mokymo dideli modeliai vidutiniškai veikė geriau, reikalavo maždaug 3–5 kartus mažiau konkrečios užduoties duomenų ir buvo atsparesni pasikeitus sąlygoms. Tačiau be papildomo mokymo jie nuosekliai nelaimėjo, dalis efektų buvo labai maži, o paprastas duomenų normalizavimo pasirinkimas turėjo didesnį poveikį nei architektūra. Tai pamatuota parama krypčiai, o ne bendros paskirties zero-shot robotas ar „emergentinis šuolis“.
Kodėl kalbos modeliai haliucinuoja — ir kodėl mūsų vertinimo būdas tai palaiko
Užtikrintai pateikiami klaidingi teiginiai, kuriuos vadiname „haliucinacijomis“, nėra paslaptinga sistemos klaida: dalis jų yra statistinis mokymo šalutinis produktas, o išlieka jie todėl, kad įprasti testai už drąsų spėjimą atlygina labiau nei už sąžiningą „nežinau“. Keturių pažangiausių modelių atvejo analizė rodo, kad vertinimo taisykles aiškiai įrašius į užklausą („atviros vertinimo taisyklės“), ši paskata apsiverčia.