Shkenca kompjuterike
Një gjuhë që nuk ndikon në mënyrën se si mendon për programimin nuk ia vlen të mësohet.
— (1982)
Zhvilluesit me përvojë ndiheshin më të shpejtë me AI, ndërsa matjet tregonin se punonin më ngadalë — rezultati i vërtetë dhe verdikti për programimin me AI që ky studim nuk jep
Në një provë të kontrolluar të randomizuar nga METR, gjashtëmbëdhjetë zhvillues me përvojë në projekte me burim të hapur kryen 246 detyra reale në baza kodi që i njihnin mirë; në një gjysmë të zgjedhur rastësisht u lejuan mjete AI të fillimit të vitit 2025 (Cursor Pro dhe Claude 3.5/3.7 Sonnet). Ata prisnin që AI ta shkurtonte kohën e detyrës me rreth 24%; në vend të kësaj koha e përfundimit u rrit me 19% — dhe më pas ata ende besonin se AI i kishte përshpejtuar me rreth 20%. Ky hendek perceptimi është bërthama më e fortë e studimit. Por bëhet fjalë për gjashtëmbëdhjetë zhvillues, një mjedis të ngushtë dhe një fotografi të fiksuar të fillimit të vitit 2025: autorët theksojnë se rezultati nuk tregon se AI nuk ndihmon shumicën e zhvilluesve, dhe ndjekja e tyre e vitit 2026 tashmë anon nga një përshpejtim, me kufizimet e veta.
Një provë kriptografike mund ta fshehë sekretin duke e bërë të vështirë të provohet mungesa e simulatorit
Provat zero-knowledge lejojnë të provosh një pohim pa zbuluar witness-in. Teoria klasike thotë se kjo, në kuptimin e plotë, nuk mund të kombinohet me një mesazh të vetëm, pa setup të besuar dhe me soundness të përsosur. Punimi i Rahul Ilango-s nuk e zhduk këtë pamundësi. Ai ndryshon objektivin: në vend që të kërkojë që simulatori të ekzistojë vërtet, kërkon që asnjë proof system i zgjedhur të mos mund të provojë në mënyrë efikase se simulatori nuk ekziston. Nën supozime të mëdha nga proof complexity dhe kriptografia, kjo mjafton për të rikuperuar, një veti nga një, pasoja të falsifikueshme dhe game-based të zero-knowledge. Pika nuk është një primitive interneti gati për përdorim; është një mënyrë proof-theoretic për ta kthyer paprovueshmërinë matematike në mbulesë kriptografike.
Një AI mjekësore mund të jetë private mesatarisht dhe megjithatë të ekspozojë pacientë të caktuar — sidomos të nënpërfaqësuarit
Pretendimi se një model i AI-së mjekësore “ruan privatësinë” zakonisht mbështetet në një numër mesatar. Ky studim argumenton se ai është testi i gabuar. Duke studiuar sulme për inferimin e anëtarësisë — që zbulojnë nëse kartela e një personi ishte në të dhënat e trajnimit dhe, kështu, mund të tregojnë se ai kishte një sëmundje të caktuar — autorët matën rrezikun për çdo pacient, jo vetëm në agregat, në shtatë dataset-e mjekësore dhe shumë modele. Modelet që duken të sigurta mesatarisht mund të lejojnë identifikim pothuajse të përsosur të individëve të caktuar (AUC ≥ 0.95); të ekspozuarit janë sistematikisht nga grupet e nënpërfaqësuara; dhe rreziku rritet me madhësinë e modelit. Autorët nuk kërkojnë braktisjen e AI-së mjekësore, por matje individuale të privatësisë, kontroll të aksesit dhe privatësi diferenciale.
T’i mësosh një AI-je që vizaton të shohë faqen
Modelet gjuhësore që gjenerojnë grafikë vektoriale zakonisht punojnë verbërisht — shkruajnë komandat e vizatimit pa parë kurrë rezultatin. Një metodë e re e lejon modelin ta shohë kanavacën hap pas hapi, por kthesa e ndershme është se thjesht t’i japësh sy e përkeqëson performancën: duhet ritrajnuar që t’i përdorë. Pas kësaj, një model 8B barazon ose kalon lehtë rivalë të trajnuar me deri në njëzet herë më shumë të dhëna — rezultat real dhe i kujdesshëm në një benchmark, jo revolucion.
Një agjent AI punoi vetë raste të plota pacientësh — në simulator, mbi kartela të së kaluarës
MIRA është një lloj i ri AI-je mjekësore: në vend që t’i përgjigjet një pyetjeje të vetme, punon një rast të tërë brenda një kartelë spitalore të simuluar — merr histori, porosit e lexon teste, arrin diagnozë dhe shkruan urdhra. Në 574 raste retrospektive nga një bazë publike, në tetë diagnoza të zgjedhura paraprakisht, autorët raportojnë saktësi diagnostike më të lartë se mjekët dhe vendime kryesisht në përputhje me udhëzimet e të sigurta për barnat. Por çdo kualifikim ka peshë: sistemi punoi në sandbox mbi kartela të vjetra, vetëm në tekst; një pjesë e avantazhit erdhi te gjendjet me rezultate testesh të qarta; porositi afërsisht dy herë më shumë analiza gjaku se mjekët; dhe disa rezultate u vlerësuan kundrejt asaj që ishte dokumentuar në kartelën origjinale. Përparimi real është një agjent që vepron përgjatë gjithë workflow-it — jo provë se makina tani diagnostikon më mirë se mjeku.
A funksionojnë vërtet më mirë “foundation models” e mëdha për robotë? Përgjigjja e kujdesshme: modestisht po — dhe shumica e studimeve mezi mund ta matin
Toyota Research Institute trajnoi “large behavior models” — politika robotike të paratrajnuara mbi ~1,700 orë manipulimi të larmishëm — dhe i testoi kundrejt politikave një-detyre nga zero me rigorozitet të pazakontë: prova të verbra, të randomizuara, me kampion të madh (~1,800 reale, 47,000+ simulime) dhe statistikë reale. Pas fine-tuning-ut për detyrë, modelet e mëdha performuan më mirë mesatarisht, kërkuan rreth 3–5× më pak të dhëna dhe ishin më robustë kur kushtet ndryshonin; performanca u rrit gradualisht me më shumë pretraining. Por pa fine-tuning nuk i mundën në mënyrë konsistente modelet një-detyre, disa efekte ishin tepër të vogla për t’u parë pa kampione të mëdha, dhe një zgjedhje e zakonshme normalizimi pati më shumë rëndësi se arkitektura. Është mbështetje e matur për drejtimin e robot foundation models — jo robot i përgjithshëm, jo generalist zero-shot dhe jo “kërcim emergjent” — plus një paralajmërim se shumë robotikë mund të jetë duke matur zhurmë.
Pse modelet gjuhësore halucinojnë — dhe pse mënyra si i vlerësojmë i shtyn të vazhdojnë
Pohimet e rreme me vetëbesim që quajmë “halucinacione” nuk janë defekt misterioz: disa janë nënprodukt statistikor i trajnimit dhe vazhdojnë sepse benchmark-et kryesore shpërblejnë një hamendësim me vetëbesim më shumë se një “nuk e di” të ndershëm. Një case study me katër modele frontier tregon se deklarimi i rregullave të pikëzimit në prompt (“open rubrics”) e përmbys këtë stimul.