Izkušeni razvijalci so se z AI počutili hitrejše, merljivo pa so delali počasneje — pravi rezultat in sodba o programiranju z AI, ki je ta študija ne daje

Izkušeni razvijalci so se z AI počutili hitrejše, merljivo pa so delali počasneje — pravi rezultat in sodba o programiranju z AI, ki je ta študija ne daje

Če izkušenega programerja vprašate, ali ga pomočnik za programiranje z umetno inteligenco pospeši, boste pogosto dobili številko: prihrani mi dvajset, trideset odstotkov časa. Če vprašate ekonomista ali raziskovalca strojnega učenja, je številka navadno še višja. Na začetku leta 2025 je ekipa METR naredila počasno in drago stvar: preverila je. Šestnajstim izkušenim odprtokodnim razvijalcem je dala 246 resničnih nalog iz velikih kodnih baz, ki so jih dobro poznali, nato pa je pri vsaki nalogi z naključnim izborom določila, ali smejo uporabljati orodja AI ali ne. Nato so izmerili čas dela.

Razvijalci so vnaprej napovedali, da bo AI čas nalog skrajšala za približno 24 %. Zgodilo se je nasprotno: naloge z dovoljeno AI so trajale 19 % dlje. In tu je del, pri katerem se je vredno ustaviti — po koncu so isti razvijalci še vedno verjeli, da jih je AI pospešila za približno 20 %. Bili so počasnejši, počutili pa so se hitrejše. Razdalja med tema številkama je najzanimivejši del študije.

To je resničen, skrbno izmerjen rezultat. Hkrati gre za šestnajst razvijalcev, ki zelo dobro poznajo svoje repozitorije in uporabljajo orodja iz začetka leta 2025 — zato rezultat ni preprost stavek »AI razvijalce upočasni«. Poznejši podatki iste ekipe že kažejo v drugo smer.

Kaj so naredili avtorji

• Izvedli so randomiziran kontroliran preskus (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Sodelovalo je šestnajst izkušenih odprtokodnih razvijalcev, vsak na velikem repozitoriju, h kateremu redno prispeva in ga dobro pozna — v povprečju so na teh projektih delali pet let.
• Uporabili so 246 resničnih nalog — odpravljanje napak, nove funkcije in preurejanje kode iz dejanskih sistemov za sledenje težavam teh projektov. Vsaka naloga je bila naključno dodeljena v pogoj »AI dovoljena« ali »AI ni dovoljena«.
• »AI dovoljena« je pomenilo orodja iz začetka leta 2025: Cursor Pro s Claude 3.5/3.7 Sonnet. Glavna meritev je bil dejanski čas dokončanja posamezne naloge. Ekipa je poleg tega zbrala napovedi razvijalcev pred delom in njihove ocene po njem ter napovedi strokovnjakov za ekonomijo in strojno učenje.

Kaj so ugotovili

• Z AI so naloge trajale 19 % dlje. Ne hitreje — počasneje. 95-odstotni interval zaupanja sega približno od +2 % do +39 %, zato je smer učinka precej zanesljiva, čeprav njegova natančna velikost ni.
• Vsi so napovedali nasprotno. Razvijalci so pričakovali 24-odstotni pospešek, strokovnjaki za strojno učenje približno 38-odstotnega, ekonomisti pa približno 39-odstotnega. Vse tri skupine so pričakovale velik prihranek časa; ura je pokazala, da ga je bilo nekaj več porabljenega.
• Razkorak v zaznavi. Čeprav so delo opravili počasneje, so razvijalci po koncu še vedno ocenili, da jih je AI pospešila za približno 20 % — približno 40 odstotnih točk razlike med občutkom in meritvijo.
• Možni razlogi, ocenjeni, ne dokazani. Avtorji navajajo dejavnike, ki bi lahko pojasnili upočasnitev: ti razvijalci svoje kodne baze poznajo zelo dobro, zato ima pomočnik manj prostora za dodano vrednost; zreli projekti imajo visoke in pogosto implicitne standarde kakovosti; repozitoriji so veliki in vsebujejo veliko konteksta, ki ga model nima; resničen čas pa porabijo tudi za pripravo navodil, pregledovanje in popravljanje izhodov AI. To so možne razlage, ne dokončni sklepi.

Česa to ne pokaže

• Rezultat ne kaže, da AI ne pospeši večine razvijalcev. Avtorji to povedo neposredno: šestnajst strokovnjakov na kodi, ki jo poznajo skoraj na pamet, ni povprečen razvijalec na povprečni nalogi.
• Ne kaže, da je AI neuporabna ali da ljudi upočasnjuje v drugih okoljih — pri novincih v kodni bazi, pri projektih od začetka, v nepoznanih jezikih ali na drugih področjih.
• Ne zamrzne orodij v času. Gre za Cursor in Claude 3.5/3.7 Sonnet iz začetka leta 2025; avtorji izrecno poudarjajo, da bi boljša orodja ali boljši način njihove uporabe lahko spremenili rezultat tudi v povsem istem okolju.
• Gre za predobjavo (objavljeno julija 2025, še ne recenzirano), avtorji pa priznavajo, da ne morejo povsem izključiti eksperimentalnih artefaktov — čeprav je rezultat zdržal njihove preizkuse robustnosti.
• Rezultat ne dovoljuje tolažilne razlage, da so razvijalci morda nekaj pridobili na drug način — se več naučili, bili bolj zadovoljni ali napisali boljšo kodo. Edina taka stvar, ki je bila tukaj izmerjena, je občutek pospeška, in prav tega podatki zavrnejo.

Kako močni so dokazi

• Zasnova je nenavadno neposredna. Naključna razporeditev, resnične naloge, resnični repozitoriji in dejansko merjenje časa so velik korak naprej v primerjavi s samoocenami in lestvicami benchmarkov, na katerih temelji večina trditev o AI pri programiranju. 19-odstotna upočasnitev je preživela preverjanja robustnosti, ki so jih izvedli avtorji.
• Najbolj prenosljiv rezultat je razkorak v zaznavi. Intuicija strokovnjakov o lastnem pospešku z AI je bila napačna za približno 40 odstotnih točk in napaka je bila optimistična. To je opozorilo za vsako samoocenjeno povečanje produktivnosti zaradi AI — tudi za številke iz te študije.
• To je posnetek trenutka, ne trend. Lastna nadaljnja študija METR iz februarja 2026, z razvijalci podobnega tipa in novejšimi orodji, že kaže proti pospešku — zelo grobo približno −18 % pri razvijalcih, ki so sodelovali že prej, in −4 % pri novih — vendar avtorji te dokaze označujejo kot šibke. Rezultate izkrivlja izbor udeležencev: razvijalci so vse pogosteje zavračali delo brez AI, plačilo se je znižalo, izbor nalog pa se je spremenil. Pošteno branje je, da se slika spreminja in da je tudi to spreminjanje poročano z veliko previdnosti.

Zakaj je pomembno

Velik del razprave o AI in programiranju temelji na demonstracijah in občutkih: uglajen posnetek zaslona, samozavestna trditev, skeptičen odziv. Redko pa kdo izvede dolgočasen poskus — naloge naključno razdeli, izmeri resnično delo in nato ljudi vpraša, kako se jim je zdelo. Zaradi tega je ta študija vredna pozornosti. Odgovor je neprijeten za oba tabora. Prebije zgodbo, da AI enakomerno turbo-pospeši izkušene razvijalce pri zahtevni kodi, ki jo dobro poznajo. Hkrati pa prebije tudi urejeno nasprotno zgodbo — »dokazano je, da AI razvijalce upočasni« — saj novejši podatki iste ekipe že kažejo v drugo smer. Najbolj trajen nauk je hkrati najmanjši in najbolj človeški: ljudje, ki so opravljali delo, so se počutili hitrejše, čeprav so bili merljivo počasnejši. »Zdi se mi hitreje« ni dokaz, da je res hitreje. Izmerite.

Kratek povzetek

V randomiziranem kontroliranem preskusu METR je šestnajst izkušenih odprtokodnih razvijalcev opravilo 246 resničnih nalog na kodnih bazah, ki so jih dobro poznali; pri naključni polovici nalog so smeli uporabljati orodja AI iz začetka leta 2025 (Cursor Pro ter Claude 3.5/3.7 Sonnet). Razvijalci so pričakovali, da bo AI čas naloge skrajšala za približno 24 %; namesto tega se je čas dokončanja podaljšal za 19 % — po koncu pa so še vedno verjeli, da jih je pospešila za približno 20 %. Prav ta razkorak med občutkom in meritvijo je najostrejši in najbolj robusten rezultat. Toda gre za šestnajst razvijalcev, eno ozko okolje in posnetek orodij iz začetka leta 2025; avtorji jasno poudarjajo, da študija ne kaže, da AI večini razvijalcev ne pomaga, njihovi lastni podatki iz leta 2026 pa že kažejo proti pospešku, z lastnimi omejitvami. Skrbna meritev, ki jo velja vzeti resno — ne pa sodba o programiranju z AI.