Kogenud arendajad tundsid end AI-ga kiiremana, kuigi mõõdetavalt töötasid aeglasemalt — see on tegelik tulemus, mitte otsus AI-kodeerimise kohta

Kogenud arendajad tundsid end tehisintellektiga kiiremana, kuigi mõõdetavalt töötasid aeglasemalt — see on tegelik tulemus, mitte otsus AI-kodeerimise kohta

Küsige kogenud programmeerijalt, kas AI-kodeerimisabiline teeb tema töö kiiremaks, ja tavaliselt saate vastuseks arvu: säästab kakskümmend, kolmkümmend protsenti. Küsige majandusteadlaselt või masinõppeuurijalt ja arv kipub kasvama. 2025. aasta alguses tegi METR-i meeskond selle aeglase ja kalli asja ära ning kontrollis. Nad võtsid kuusteist kogenud avatud lähtekoodiga tarkvara arendajat, andsid neile 246 päris ülesannet suurtest koodibaasidest, mida nad hästi tundsid, ning lubasid iga ülesande puhul juhusliku loosiga kas AI-tööriistu kasutada või mitte. Siis mõõdeti tööle kulunud aeg.

Arendajad ennustasid, et AI vähendab ülesandele kuluvat aega umbes 24%. Tulemus oli vastupidine: AI-ga tehtud ülesanded võtsid 19% rohkem aega. Ja siin on osa, mille juures tasub peatuda — pärast katse lõppu uskusid needsamad arendajad ikka veel, et AI oli neid umbes 20% kiirendanud. Nad olid aeglasemad, kuid tundsid end kiiremana, ning just nende kahe arvu vahe on uuringu kõige huvitavam tulemus.

See on reaalne ja hoolikalt mõõdetud leid. Samas puudutab see kuutteist arendajat, kes töötasid neile väga tuttavates repositooriumides 2025. aasta alguse tööriistadega — ning see ei võrdu lihtsa väitega „AI teeb arendajad aeglasemaks“. Sama meeskonna hilisemad andmed viitavad juba vastupidisele suunale.

Mida autorid tegid

• Viisid läbi juhuslikustatud kontrollitud katse (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Osales kuusteist kogenud avatud lähtekoodiga tarkvara arendajat, kellest igaüks töötas suures repositooriumis, kuhu ta regulaarselt panustas ja mida hästi tundis — keskmiselt oli neil konkreetse projektiga viis aastat kogemust.
• Kasutasid 246 päris ülesannet — vigade parandusi, uusi funktsioone ja refaktoreerimist, mis pärinesid nende projektide enda issue-tracker’itest. Iga ülesanne määrati juhuslikult tingimusse „AI lubatud“ või „AI keelatud“.
• „AI lubatud“ tähendas 2025. aasta alguse tööriistu: Cursor Pro koos Claude 3.5/3.7 Sonnetiga. Peamine mõõdik oli tegelik ülesande lõpetamiseks kulunud aeg. Lisaks kogus meeskond arendajate prognoose enne katset ja hinnanguid pärast katset ning majandusteadlaste ja masinõppeekspertide ennustusi.

Mida nad leidsid

• AI-ga võtsid ülesanded 19% rohkem aega. Mitte vähem, vaid rohkem. 95% usaldusvahemik ulatub ligikaudu +2%-st +39%-ni, seega on mõju suund üsna kindel isegi siis, kui täpne suurus ei ole.
• Kõik olid ennustanud vastupidist. Arendajad prognoosisid 24% kiirenemist, masinõppeeksperdid umbes 38% ja majandusteadlased umbes 39%. Kõik kolm rühma ootasid suurt ajavõitu; stopper näitas hoopis ajakulu kasvu.
• Tajuerinevus. Pärast töö tegemist ja aeglasemat tulemust hindasid arendajad endiselt, et AI oli neid umbes 20% kiirendanud — umbes 40 protsendipunkti erinevust selle vahel, mida nad tundsid, ja selle vahel, mida kell mõõtis.
• Võimalikud põhjused, mida kaaluti, kuid ei tõestatud. Autorid toovad välja tegureid, mis võiksid aeglustumist seletada: arendajad tunnevad oma koodibaase väga sügavalt, mistõttu assistendil on vähem lisaväärtust; küpsetel projektidel on kõrged ja sageli sõnastamata kvaliteedinõuded; repositooriumid on suured ja täis konteksti, mida mudel ei tea; ning päris aega kulub promptimisele, seejärel AI-väljundi ülevaatamisele ja parandamisele. Autorid esitavad neid võimalike seletustena, mitte lõplike järeldustena.

Mida see ei näita

• See ei näita, et AI ei suuda enamikku arendajaid kiirendada. Autorid ütlevad seda otsesõnu: kuusteist eksperti koodis, mida nad peast tunnevad, ei esinda keskmist arendajat ega keskmist ülesannet.
• See ei näita, et AI on kasutu või et see aeglustab inimesi muudes olukordades — näiteks uustulnukaid koodibaasis, täiesti uue projekti loomisel, võõras programmeerimiskeeles või teistes valdkondades.
• See ei külmuta tööriistu ajas. Jutt käib 2025. aasta alguse Cursorist ja Claude 3.5/3.7 Sonnetist; autorid rõhutavad, et paremad tööriistad või nende oskuslikum kasutamine võivad tulemust muuta isegi täpselt samas olukorras.
• Tegemist on eelpublikatsiooniga (avaldatud 2025. aasta juulis, eelretsenseerimata) ning autorid märgivad, et nad ei saa täielikult välistada katsega seotud artefakte — kuigi leid püsis nende erinevates analüüsides.
• See ei anna alust lohutavale tõlgendusele, et arendajad pidid siis vähemalt muul viisil võitma — õppima rohkem, tundma end paremini või kirjutama kvaliteetsemat koodi. Üks mõõdetud asi, tajutud kiirenemine, on just see, millele andmed vastu räägivad.

Kui tugev on tõendus

• Katsekujundus on ebatavaliselt aus. Juhuslikustatud jaotus, päris ülesanded, päris repositooriumid, tegelik ajamõõtmine — see on suur samm edasi võrreldes enesehinnangute ja võrdlustestide edetabelitega, millel suur osa AI-kodeerimise väidetest põhineb. 19% aeglustumine pidas vastu autorite robustsuskontrollidele.
• Kõige üldistatavam tulemus on tajuerinevus. Ekspertide sisetunne enda AI-ga saavutatud kiirenemise kohta eksis umbes 40 protsendipunkti võrra optimistlikus suunas. See on hoiatus kõigi enese raporteeritud AI-tootlikkuse võitude suhtes — kaasa arvatud selle uuringu enda arvud.
• See on hetkepilt, mitte trend. METR-i enda 2026. aasta veebruari jätku-uuring, kus sarnased arendajad kasutasid uuemaid tööriistu, viitab juba kiirenemisele — väga ligikaudu −18% naasvate ja −4% uute arendajate puhul — kuid autorid nimetavad tõendit nõrgaks ja märgivad osalejate valikust tulenevaid moonutusi (arendajad keeldusid üha sagedamini töötamast ilma AI-ta, tasu langes ning ülesannete valik nihkus). Aus tõlgendus on, et pilt muutub, ja isegi muutust ennast raporteeritakse ettevaatlikult.

Miks see oluline on

Suur osa AI ja programmeerimise vaidlusest käib demode ja kõhutunde ümber: efektne ekraanisalvestus, enesekindel väide, vastuseks skeptiline silmapööritus. Haruldane — ja seetõttu lugemist väärt — on see, et keegi tegi ära igava katse: juhuslikusta, mõõda päris töö aega ja küsi siis inimestelt, kuidas nende arvates läks. Vastus on ebamugav mõlemale leerile. See lõhub loo, et AI annab kogenud arendajatele raskes, tuttavas koodis ühtlaselt turbokiirenduse. Ja see lõhub ka kena vastandloo „tõestatud: AI teeb arendajad aeglasemaks“, sest sama meeskonna uuemad andmed kalduvad juba teisele poole. Kõige püsivam õppetund on ka kõige väiksem ja inimlikum: inimesed tundsid end tööd tehes kiiremana, kuigi olid mõõdetavalt aeglasemad. „Tundub kiirem“ ei ole tõend, et see on kiirem. Mõõtke.

Lühidalt

Juhuslikustatud kontrollitud katses lasi METR kuueteistkümnel kogenud avatud lähtekoodiga tarkvara arendajal lahendada 246 päris ülesannet koodibaasides, mida nad hästi tundsid; juhusliku poole ülesannete puhul tohtis kasutada 2025. aasta alguse AI-tööriistu (Cursor Pro koos Claude 3.5/3.7 Sonnetiga). Arendajad ootasid, et AI vähendab ülesandele kuluvat aega umbes 24%; tegelikult suurenes lõpetamisaeg 19% — ja pärast katset uskusid nad endiselt, et AI oli neid umbes 20% kiirendanud. See tajuerinevus on uuringu selge ja robustne tuum. Kuid tegemist oli 16 arendaja, ühe kitsa olukorra ja 2025. aasta alguse hetkepildiga; autorid rõhutavad, et uuring ei näita, et AI ei aitaks enamikku arendajaid, ning nende enda 2026. aasta jätkuandmed viitavad juba kiirenemisele, kuigi ka neil on omad piirangud. Hoolikas mõõtmine, mida tasub tõsiselt võtta — mitte kohtuotsus AI-kodeerimisele.