Pieredzējuši izstrādātāji ar MI jutās ātrāki, lai gan izmērāmi strādāja lēnāk — īstais secinājums un tas, ko šis pētījums nesaka par MI programmēšanā

Pieredzējuši izstrādātāji ar MI jutās ātrāki, lai gan izmērāmi strādāja lēnāk — īstais secinājums un tas, ko šis pētījums nesaka par MI programmēšanā

Pajautājiet pieredzējušam programmētājam, vai MI programmēšanas palīgs viņu paātrina, un parasti saņemsiet skaitli: ietaupa divdesmit, trīsdesmit procentus laika. Pajautājiet ekonomistam vai mašīnmācīšanās pētniekam, un skaitlis kļūs vēl lielāks. 2025. gada sākumā METR komanda izdarīja lēno un dārgo lietu — pārbaudīja. Tā iesaistīja sešpadsmit pieredzējušus atvērtā pirmkoda izstrādātājus, deva viņiem 246 reālus uzdevumus no lielām kodu bāzēm, kuras viņi labi pazina, un katram uzdevumam pēc nejaušības principa atļāva vai aizliedza izmantot MI rīkus. Pēc tam izmērīja darba laiku.

Izstrādātāji bija prognozējuši, ka MI saīsinās uzdevumu izpildes laiku par aptuveni 24%. Notika pretējais: uzdevumi, kuros drīkstēja izmantot MI, prasīja par 19% vairāk laika. Un te ir pētījuma interesantākā daļa — pēc darba pabeigšanas tie paši izstrādātāji joprojām uzskatīja, ka MI viņus bija paātrinājis par aptuveni 20%. Viņi strādāja lēnāk, bet jutās ātrāki; tieši plaisa starp šiem diviem skaitļiem ir pētījuma spilgtākais rezultāts.

Tas ir reāls un rūpīgi izmērīts efekts. Taču runa ir arī tikai par sešpadsmit izstrādātājiem, par repozitorijiem, kurus viņi ļoti labi pazīst, un par 2025. gada sākuma rīkiem. Tas nav vienkāršs spriedums “MI padara izstrādātājus lēnākus”. Tās pašas komandas jaunāki dati jau rāda citā virzienā.

Ko autori darīja

• Veica nejaušinātu kontrolētu pētījumu (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Tajā piedalījās 16 pieredzējuši atvērtā pirmkoda izstrādātāji, kuri katrs strādāja pie liela repozitorija, kurā regulāri veic ieguldījumus un kuru labi pazīst — konkrētajos projektos vidēji piecus gadus.
• Izmantoja 246 reālus uzdevumus — kļūdu labojumus, jaunas funkcijas un refaktorizāciju no pašu projektu uzdevumu sistēmām. Katram uzdevumam nejauši noteica “MI atļauts” vai “MI aizliegts”.
• “MI atļauts” nozīmēja 2025. gada sākuma rīkus: Cursor Pro ar Claude 3.5/3.7 Sonnet. Galvenais rādītājs bija faktiskais uzdevuma pabeigšanas laiks. Papildus komanda apkopoja prognozes pirms darba un novērtējumus pēc tā, kā arī ekonomikas un mašīnmācīšanās ekspertu paredzējumus.

Ko viņi atklāja

• Ar MI uzdevumi prasīja par 19% vairāk laika. Nevis mazāk, bet vairāk. 95% ticamības intervāls ir aptuveni no +2% līdz +39%, tātad efekta virziens ir samērā drošs, pat ja precīzs lielums nav.
• Visi bija paredzējuši pretējo. Izstrādātāji gaidīja 24% paātrinājumu, mašīnmācīšanās eksperti ap 38%, ekonomisti ap 39%. Visas trīs grupas gaidīja lielu laika ietaupījumu; hronometrs parādīja zināmu laika zaudējumu.
• Uztveres plaisa. Pēc darba, lai gan faktiski bija strādājuši lēnāk, izstrādātāji joprojām lēsa, ka MI viņus paātrinājis par aptuveni 20% — ap 40 procentpunktu atšķirība starp sajūtu un mērījumu.
• Iespējamie iemesli ir apsvērti, nevis pierādīti. Autori min vairākus faktorus, kas varētu izskaidrot palēninājumu: šie izstrādātāji ļoti labi pārzina savas kodu bāzes, tāpēc palīgam ir mazāk ko pievienot; nobriedušiem projektiem ir augsti, bieži neizteikti kvalitātes standarti; repozitoriji ir lieli un pilni ar kontekstu, kas modelim nav pieejams; un reāls laiks tiek patērēts uzvedņu rakstīšanai, pēc tam MI rezultātu pārbaudei un labošanai. Tie ir iespējamie skaidrojumi, nevis galīgi secinājumi.

Ko tas nepierāda

• Tas neparāda, ka MI nespēj paātrināt lielāko daļu izstrādātāju. Autori to saka tieši: sešpadsmit eksperti, kas kodu pazīst gandrīz no galvas, nav vidējais izstrādātājs vidējā uzdevumā.
• Tas neparāda, ka MI ir nederīgs vai ka tas palēnina cilvēkus citos apstākļos — piemēram, jaunpienācējus kodu bāzē, darbu no nulles, nepazīstamas programmēšanas valodas vai pavisam citas jomas.
• Tas neiesaldē rīkus laikā. Šeit runa ir par 2025. gada sākuma Cursor un Claude 3.5/3.7 Sonnet; autori skaidri norāda, ka labāki rīki vai labāks to lietojums varētu mainīt rezultātu pat tieši šādā pašā vidē.
• Tas ir preprints (publicēts 2025. gada jūlijā, vēl nav recenzēts), un autori norāda, ka nevar pilnībā izslēgt eksperimenta artefaktus, lai gan rezultāts saglabājās dažādās analīzēs.
• Tas arī neļauj mierinoši pieņemt, ka izstrādātāji varbūt ieguva kaut ko citu — vairāk iemācījās, jutās labāk vai uzrakstīja kvalitatīvāku kodu. Tieši tas, kas šeit tika mērīts kā sajūta — šķietamais paātrinājums — ir pretrunā ar datiem.

Cik pārliecinoši ir pierādījumi?

• Pētījuma dizains ir neparasti tiešs. Nejaušināšana, reāli uzdevumi, reāli repozitoriji un faktisks laika mērījums ir liels solis uz priekšu salīdzinājumā ar pašvērtējumiem un etalontestu līderu tabulām, uz kurām balstās daudzi apgalvojumi par MI programmēšanā. 19% palēninājums saglabājās autoru robustuma pārbaudēs.
• Vispārināmākais secinājums ir uztveres plaisa. Ekspertu intuīcija par savu paātrinājumu ar MI kļūdījās par aptuveni 40 procentpunktiem optimistiskā virzienā. Tas ir brīdinājums pret jebkuru pašziņotu produktivitātes pieaugumu no MI — arī pret šā pētījuma pašu pašvērtējumiem.
• Tas ir momentuzņēmums, nevis tendence. METR 2026. gada februāra turpinājums ar līdzīga tipa izstrādātājiem un jaunākiem rīkiem norāda uz paātrinājumu — ļoti aptuveni −18% tiem, kuri piedalījās atkārtoti, un −4% jaunajiem dalībniekiem. Tomēr autori šo pierādījumu sauc par vāju, jo atlasi ietekmēja tas, kuri bija gatavi piedalīties: izstrādātāji arvien biežāk atteicās strādāt bez MI, samaksa bija zemāka un mainījās uzdevumu atlase. Godīgais secinājums ir, ka aina mainās, un arī šo izmaiņu autori apraksta piesardzīgi.

Kāpēc tas ir svarīgi

Liela daļa strīdu par MI un programmēšanu balstās uz demonstrācijām un sajūtām: glīts ekrāna ieraksts, pārliecinošs apgalvojums, skeptiska reakcija. Retums — un iemesls, kāpēc šo pētījumu vērts lasīt — ir tas, ka kāds veica garlaicīgo eksperimentu: nejaušināja, izmērīja reālu darbu un pēc tam pajautāja cilvēkiem, kā viņiem šķita. Atbilde ir neērta abām nometnēm. Tā apstrīd stāstu, ka MI vienmēr dramatiski paātrina ekspertus sarežģītā, pazīstamā kodā. Un tā apstrīd arī gludo pretējo stāstu — “pierādīts, ka MI padara izstrādātājus lēnākus” — jo tās pašas komandas jaunākie dati jau sliecas citā virzienā. Izturīgākā mācība ir arī visvienkāršākā un cilvēciskākā: cilvēki jutās ātrāki, lai gan izmērāmi strādāja lēnāk. “Man šķiet, ka ir ātrāk” nav pierādījums. Tas ir jāizmēra.

Īss kopsavilkums

Nejaušinātā kontrolētā pētījumā METR lika 16 pieredzējušiem atvērtā pirmkoda izstrādātājiem paveikt 246 reālus uzdevumus kodu bāzēs, kuras viņi labi pazina; nejauši pusei uzdevumu drīkstēja izmantot 2025. gada sākuma MI rīkus (Cursor Pro kopā ar Claude 3.5/3.7 Sonnet). Izstrādātāji gaidīja, ka MI saīsinās darba laiku par aptuveni 24%; faktiski tas pagarināja uzdevumu izpildes laiku par 19% — un pēc tam viņi joprojām uzskatīja, ka MI viņus bija paātrinājis par aptuveni 20%. Šī uztveres plaisa ir pētījuma asākais un robustākais rezultāts. Taču tas ir tikai 16 izstrādātāju, šaurs konteksts un fiksēts 2025. gada sākuma momentuzņēmums; autori skaidri norāda, ka pētījums neparāda, ka MI nepalīdz vairumam izstrādātāju, un viņu pašu 2026. gada turpinājums jau norāda uz paātrinājumu, lai gan ar būtiskām atrunām. Rūpīgs mērījums, ko vērts uztvert nopietni — nevis spriedums par MI programmēšanu.