Iskusni programeri osjećali su se bržima uz umjetnu inteligenciju, dok su mjerljivo radili sporije — stvarni nalaz, a ne presuda o programiranju uz AI

Iskusni programeri osjećali su da su brži uz AI, iako su mjerljivo radili sporije — to je pravi nalaz, a ne presuda o programiranju uz AI

Pitate li iskusnog programera ubrzava li ga AI pomoćnik za programiranje, obično ćete dobiti broj: uštedi mi dvadeset, trideset posto vremena. Pitate li ekonomista ili istraživača mašinskog učenja, broj postane još veći. Početkom 2025. tim METR-a napravio je ono sporo i skupo: provjerio je. Uključili su šesnaest iskusnih developera otvorenog koda, dali im 246 stvarnih zadataka iz velikih baza koda koje su dobro poznavali i — bacanjem novčića za svaki pojedini zadatak — ili dopustili upotrebu AI alata ili je zabranili. Zatim su mjerili vrijeme rada.

Developeri su unaprijed procijenili da će im AI skratiti vrijeme potrebno za zadatak za oko 24%. Dogodilo se suprotno: zadaci rađeni uz AI trajali su 19% duže. A ovo je dio nad kojim vrijedi zastati — nakon završetka rada isti su developeri i dalje vjerovali da ih je AI ubrzao, za oko 20%. Bili su sporiji, osjećali su se bržima, a razmak između ta dva broja najzanimljiviji je dio studije.

To je stvaran i pažljivo izmjeren rezultat. Ali riječ je o šesnaest developera, na repozitorijima koje poznaju u detalje, uz alate iz početka 2025. — i to nije isto što i tvrditi: „AI usporava developere.” Kasniji podaci istog tima već pokazuju u suprotnom smjeru.

Šta su autori uradili

• Proveli su randomizirano kontrolirano ispitivanje (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Šesnaest iskusnih developera otvorenog koda radilo je na velikim repozitorijima kojima redovito doprinose i koje dobro poznaju — u prosjeku su na tim konkretnim projektima radili pet godina.
• Koristili su 246 stvarnih zadataka — ispravke grešaka, nove karakteristike i refaktoriranja preuzete iz vlastitih sistema za praćenje problema tih projekata. Svaki je zadatak nasumično dodijeljen uslovu „AI dopušten” ili „AI zabranjen”.
• „AI dopušten” značilo je alate s početka 2025.: Cursor Pro s modelima Claude 3.5/3.7 Sonnet. Glavna mjera bilo je stvarno vrijeme potrebno za dovršetak svakog zadatka. Tim je uz to prikupio predviđanja developera prije rada i njihove procjene poslije, kao i predviđanja stručnjaka iz ekonomije i mašinskog učenja.

Šta su otkrili

• Uz AI zadaci su trajali 19% duže. Ne kraće — duže. Interval pouzdanosti od 95% proteže se otprilike od +2% do +39%, pa je smjer učinka prilično čvrst čak i ako njegova tačna veličina nije.
• Svi su predvidjeli suprotno. Developeri su očekivali ubrzanje od 24%; stručnjaci za mašinsko učenje oko 38%; ekonomisti oko 39%. Sve tri grupe očekivale su veliku uštedu vremena; mjerenje je pokazalo da je AI nešto vremena koštao.
• Jaz u percepciji. Nakon što su posao završili sporije, developeri su i dalje procijenili da ih je AI ubrzao za oko 20% — razlika od približno 40 procentnih bodova između osjećaja i onoga što je pokazao sat.
• Moguća objašnjenja, odvagnuta ali ne dokazana. Autori navode faktore koji bi mogli objasniti usporavanje: ovi developeri duboko poznaju vlastite baze koda pa pomoćnik ima manje toga za dodati; zreli projekti imaju visoke i često implicitne standarde kvalitete; repozitoriji su veliki i puni konteksta koji model nema; a stvarno se vrijeme troši i na pisanje upita te pregledavanje i ispravljanje AI izlaza. Autori ih predstavljaju kao tragove, ne kao konačne odgovore.

Šta ovo ne pokazuje

• Ne pokazuje da AI ne ubrzava većinu developera. Autori to kažu direktno: šesnaest stručnjaka na kodu koji poznaju gotovo napamet nije prosječan developer na prosječnom zadatku.
• Ne pokazuje da je AI beskoristan niti da usporava ljude u drugim okolnostima — novopridošle u repozitorij, greenfield projekte, nepoznate programske jezike ili sasvim druga područja.
• Ne zamrzava alate u vremenu. Ovo su Cursor i Claude 3.5/3.7 Sonnet s početka 2025.; autori izričito navode da bolji alati ili bolji načini njihove upotrebe mogu promijeniti rezultat čak i u potpuno istom okruženju.
• Riječ je o preprintu (objavljenom u julu 2025., još bez recenzije), a autori napominju da ne mogu potpuno isključiti eksperimentalne artefakte — iako se nalaz održao kroz njihove različite analize.
• Studija ne opravdava utješnu pretpostavku da su developeri možda dobili nešto drugo — više naučili, bili zadovoljniji ili pisali kvalitetniji kod. Jedino što je ovdje izmjereno, osjećaj ubrzanja, upravo je ono čemu podaci proturječe.

Koliko su dokazi jaki

• Dizajn je neuobičajeno pošten. Randomizacija, stvarni zadaci, stvarni repozitoriji i stvarno mjerenje vremena veliki su korak naprijed u odnosu na samoprocjene i skale benchmarkova na kojima počiva većina tvrdnji o AI programiranju. Usporavanje od 19% ostalo je prisutno i u provjerama robusnosti koje su proveli autori.
• Najprenosiviji je nalaz jaz u percepciji. Stručna intuicija o vlastitom ubrzanju uz AI pogriješila je za otprilike 40 procentnih bodova, i to u optimističnom smjeru. To je upozorenje za svaku samoprijavljenu dobit u produktivnosti od AI-ja — uključujući i brojke iz ove studije.
• Ovo je snimka trenutka, ne trend. METR-ov vlastiti nastavak iz februara 2026., s istom vrstom developera ali novijim alatima, naginje prema ubrzanju — vrlo grubo oko −18% za developere koji su se vratili i −4% za nove — no autori to označavaju kao slab dokaz, izobličen time ko je pristao učestvovati (developeri su sve češće odbijali raditi bez AI-ja, naknada je pala, a odabir zadataka se promijenio). Pošteno čitanje jest da se slika mijenja, a čak se i ta promjena izvještava bez navijanja.

Zašto je to važno

Većina rasprave o AI-ju i programiranju počiva na demonstracijama i dojmovima: glatko snimljen video zaslona, samouvjerena tvrdnja, pa jednako samouvjereno kolutanje očima s druge strane. Ono što je rijetko i zbog čega ovu studiju vrijedi pročitati jest činjenica da je neko proveo dosadan eksperiment — nasumično dodijeli uslove, mjeri stvaran rad, pa pitaj ljude kako je prošlo. Odgovor je neugodan za oba tabora. Ruši priču da AI jednako snažno ubrzava stručne developere na teškom, dobro poznatom kodu. Ali ruši i urednu suprotnu priču — „dokazano je da AI usporava developere” — jer noviji podaci istog tima već naginju drugom smjeru. Najtrajnija pouka ujedno je najmanja i najljudskija: ljudi koji su radili osjećali su se brže dok su mjerljivo bili sporiji. „Osjeća se brže” nije dokaz da jest. Izmjerite.

Kratak sažetak

U randomiziranom kontroliranom ispitivanju METR je dao šesnaestorici iskusnih developera otvorenog koda 246 stvarnih zadataka na bazama koda koje dobro poznaju, pri čemu su alati AI-ja s početka 2025. (Cursor Pro i Claude 3.5/3.7 Sonnet) bili dopušteni na nasumično odabranoj polovici zadataka. Developeri su očekivali da će AI skratiti vrijeme rada za oko 24%; umjesto toga, vrijeme završetka poraslo je za 19% — a nakon toga su i dalje vjerovali da ih je AI ubrzao za oko 20%. Taj jaz između percepcije i mjerenja oštro je i robusno centar studije. Ali riječ je o šesnaest developera, jednom uskom okruženju i fiksnoj snimci s početka 2025.; autori izričito navode da to ne pokazuje kako AI ne pomaže većini developera, a njihov vlastiti nastavak iz 2026. već naginje prema ubrzanju, uz vlastita ograničenja. Pažljivo mjerenje koje vrijedi ozbiljno shvatiti — ne presuda o programiranju uz AI.