Àwọn developer tó ní ìrírí rò pé AI mú wọn yara, ṣùgbọ́n a wọn pé wọ́n ṣiṣẹ́ lọ́ra síi — èyí ni abajade gidi, kì í ṣe ìdájọ́ ikẹhin lórí AI coding
Béèrè lọ́wọ́ programmer tó ní ìrírí bóyá AI coding assistant ń mú iṣẹ́ rẹ̀ yara, ó sábà máa fún ọ ní nọ́mbà kan: ó ń fipamọ́ ogún, ọgbọ̀n percent àkókò mi. Béèrè lọ́wọ́ economist tàbí machine-learning olùwádìí, nọ́mbà náà máa ń ga síi. Ní ìbẹ̀rẹ̀ 2025, ẹgbẹ́ kan ní METR ṣe ohun tó lọ́ra, tó sì gbowó: wọ́n ṣàyẹ̀wò gidi. Wọ́n mú open-source developers mẹ́rìndínlógún tó ní ìrírí, wọ́n fún wọn ní gidi iṣẹ́-ṣiṣe 246 láti codebases ńlá tí wọ́n mọ̀ dáadáa, wọ́n sì lo coin flip fún iṣẹ́-ṣiṣe kọọkan láti pinnu bóyá wọ́n lè lo AI irinṣẹ́ tàbí rara. Lẹ́yìn náà wọ́n wọn àkókò iṣẹ́ náà.
Àwọn developers ti sọ tẹ́lẹ̀ pé AI yóò dín iṣẹ́-ṣiṣe àkókò wọn kù ní ayíká 24%. Ohun tó ṣẹlẹ̀ jẹ́ idakeji: iṣẹ́-ṣiṣe tí wọ́n ṣe pẹ̀lú AI gba 19% àkókò síi. Apá tó yẹ ká dúró lórí ni pé — lẹ́yìn tí wọ́n parí — àwọn developers kan náà ṣì rò pé AI ti mú wọn yara síi ní ayíká 20%. Wọ́n lọ́ra síi, ṣùgbọ́n wọ́n ní ìmọ̀lára pé wọ́n yara síi; àlàfo láàárín nọ́mbà méjì yẹn ni ohun tó fanimọ́ra jù nínú ìwádìí náà.
Èyí jẹ́ abajade gidi tí a wọn pẹ̀lú ìṣọ́ra. Ṣùgbọ́n ó tún jẹ́ developers mẹ́rìndínlógún, lórí repositories tí wọ́n mọ̀ gan-an, pẹ̀lú irinṣẹ́ ti ìbẹ̀rẹ̀ 2025 — kì í ṣe gbolohun tó rọrùn pé “AI ń mú developers lọ́ra.” dátà tuntun láti ẹgbẹ́ kan náà ti ń tọ́ka sí ìhà mìíràn.
Ohun tí a wọn, àti ohun tí randomized trial fún ọ
Randomized controlled ìdánwò (RCT) ni medicine máa ń lò láti yà gidi ipa kúrò nínú ohun tí a kan ń retí. Níhìn-ín, iṣẹ́-ṣiṣe kọọkan nínú 246 ni a fi random assignment sí “AI allowed” tàbí “AI not allowed,” kí ní apapọ̀, ìyàtọ̀ systematic kan ṣoṣo láàárín ẹgbẹ́ méjì jẹ́ AI funra rẹ̀. Èyí ló jẹ́ kí a lè sọ pé AI fa ìyípadà nínú àkókò, dípò ká kan rí pé àwọn ènìyàn tó yan AI máa ń yara tàbí lọ́ra fún àwọn ìdí mìíràn. Ó ṣe pàtàkì nítorí ẹ̀rí tí a sábà fi ń sọ productivity gain ti AI coding — self-reports àti benchmark scores — kò lè ṣe èyí: benchmark kì í ṣe gidi iṣẹ́, self-report sì lè jẹ́ aṣiṣe pẹ̀lú ìgboyà, bí ìwádìí yìí ṣe fi hàn. Àwọn developers nínú ìwádìí yìí kì í ṣe beginners tó ń gbìyànjú toy tuntun. Wọ́n jẹ́ contributors tó ti pé lórí open-source projects ńlá, mature, tí wọ́n mọ̀ dáadáa, wọ́n sì ti ní díẹ̀ experience pẹ̀lú irinṣẹ́ náà.
Ohun tí àwọn olùkọ̀wé ṣe
- Wọ́n ṣe randomized controlled ìdánwò (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Open-source developers mẹ́rìndínlógún tó ní ìrírí, ọkọọkan ń ṣiṣẹ́ lórí repository ńlá tí ó máa ń contribute sí, tí ó sì mọ̀ dáadáa — ní apapọ̀ ọdún márùn-ún lórí projects pàtó wọ̀nyí.
- Wọ́n lo gidi iṣẹ́-ṣiṣe 246 — bug fixes, àbùdá àti refactors láti issue trackers ti projects náà. Task kọọkan ni a fi random assignment sí “AI allowed” tàbí “AI disallowed.”
- “AI allowed” túmọ̀ sí irinṣẹ́ ìbẹ̀rẹ̀ 2025: Cursor Pro pẹ̀lú Claude 3.5/3.7 Sonnet. Primary measure ni actual completion àkókò fún iṣẹ́-ṣiṣe kọọkan. Pẹ̀lú rẹ̀, ẹgbẹ́ náà kó forecasts (láti developers ṣáájú), ìṣírò àfojúsùn (lẹ́yìn), àti predictions láti economics àti machine-learning experts.
Ohun tí wọ́n rí
- Pẹ̀lú AI, iṣẹ́-ṣiṣe gba 19% àkókò síi. Kì í ṣe yara — wọ́n lọ́ra. 95% ìgbẹ́kẹ̀lé interval jẹ́ ní ayíká +2% sí +39%, nítorí náà ìtọ́sọ́nà náà dájú bó tilẹ̀ jẹ́ pé exact ìwọ̀n kò péye.
- Gbogbo ènìyàn sọ idakeji tẹ́lẹ̀. Developers retí 24% speedup; machine-learning experts tó 38%; economists tó 39%. Gbogbo ẹgbẹ́ retí pé AI yóò fipamọ́ àkókò púpọ̀; stopwatch rí pé ó fi àkókò kún un.
- Àlàfo perception. Lẹ́yìn iṣẹ́ náà, bó tilẹ̀ jẹ́ pé wọ́n lọ́ra síi, developers ṣì ìṣírò àfojúsùn pé AI mú wọn yara síi ní ayíká 20% — àlàfo tó fẹrẹẹ jẹ́ 40 kókó láàárín ohun tí wọ́n ní ìmọ̀lára rẹ̀ àti ohun tí clock ṣe àkọsílẹ̀.
- Àwọn ìdí tó ṣeé ṣe, tí a ṣe ìwọ̀n ṣùgbọ́n tí a kò fi proof hàn. Àwọn olùkọ̀wé tọ́ka sí factors tó lè ṣàlàyé slowdown: developers wọ̀nyí mọ codebases wọn jinlẹ̀, nítorí náà ohun tí assistant lè fi kún kere; mature projects ní high quality standards tí a kò sábà kọ síta; repositories ńlá ni context púpọ̀ tí àwòṣe kò ní; àkókò gidi sì ń lọ sí prompting, review àti correction ti AI output. Wọ́n fi wọ̀nyí hàn gẹ́gẹ́ bí leads, kì í ṣe verdicts.
Ohun tí èyí kò fi hàn
- Kò fi hàn pé AI kò lè mú ọ̀pọ̀ jù lọ developers yara. Àwọn olùkọ̀wé sọ ọ taara: experts 16 lórí code tí wọ́n mọ̀ dáadáa kì í ṣe average developer lórí average iṣẹ́-ṣiṣe.
- Kò fi hàn pé AI kò wúlò, tàbí pé ó máa ń fa slowdown nínú settings mìíràn — newcomers sí codebase, greenfield iṣẹ́, unfamiliar èdè, tàbí fields mìíràn.
- Kò di irinṣẹ́ náà mọ́ sí ipo kan. Èyí ni Cursor àti Claude 3.5/3.7 Sonnet ti ìbẹ̀rẹ̀ 2025; àwọn olùkọ̀wé sọ pé better irinṣẹ́ tàbí better ways of using them lè yí èsì padà paápàá nínú setting kan náà.
- Ó jẹ́ preprint (July 2025, kò tíì peer-reviewed), àwọn olùkọ̀wé sì sọ pé wọ́n kò lè yọ gbogbo experimental artifacts kúrò, bó tilẹ̀ jẹ́ pé àwárí náà dúró nípasẹ̀ analyses wọn.
- Kò fún wa ní àṣẹ láti sọ pẹ̀lú ìtùnú pé bóyá developers gba nǹkan míì — kọ́ síi, ní ayọ̀ síi, tàbí kọ code tó dára síi. Ohun kan tí a wọn nínú ìmọ̀lára wọn, felt speedup, ni dátà gan-an tako.
Báwo ni ẹ̀rí ṣe lágbára tó?
- Design náà dá lórí measurement tó dára ju ohun tí a sábà rí lọ. Randomized, gidi iṣẹ́-ṣiṣe, gidi repositories, actual timing — ìgbésẹ̀ ńlá ju self-reports àti benchmark leaderboards tí ọ̀pọ̀ claims AI coding gbára lé. 19% slowdown náà dúró lẹ́yìn robustness checks àwọn olùkọ̀wé.
- Finding tó rọrùn jù láti gbe lọ sí ibòmíràn ni perception gap. Expert intuition nípa speedup AI ti ara ẹni jẹ́ aṣiṣe ní ayíká 40 kókó sí ìhà optimistic. Èyí jẹ́ ìkìlọ̀ fún gbogbo self-reported productivity gain láti AI — pẹ̀lú dátà ìwádìí yìí funra rẹ̀.
- Snapshot ni, kì í ṣe trend. Follow-up METR ti February 2026, pẹ̀lú irú developers kan náà lórí irinṣẹ́ tuntun, ń tọ́ka sí speedup — ní ìwọ̀n tó rọ̀ tó −18% fún returning developers àti −4% fún tuntun — ṣùgbọ́n àwọn olùkọ̀wé pe e ní weak ẹ̀rí, tí olukopa selection ti yí: developers ń kọ láti ṣiṣẹ́ láìsí AI síi, pay rate dín kù, iṣẹ́-ṣiṣe selection sì skew. Ìtumọ̀ tó yẹ ni pé picture ń yí, wọ́n sì ń ròyìn ìyípadà náà pẹ̀lú ìṣọ́ra.
Kí nìdí tí ó fi ṣe pàtàkì?
Ọ̀pọ̀ ariyanjiyan nípa AI àti programming gbára lé demos àti “vibes”: screen recording tó lẹ́wa, claim tó dájú, àti eye-roll láti apa kejì. Ohun tí kò wọ́pọ̀, tí ó sì jẹ́ kí ìwádìí yìí yẹ ká ka, ni pé ẹnikan ṣe ìdánwò tó boring ṣùgbọ́n tó wúlò — randomize, wọn gidi iṣẹ́, lẹ́yìn náà béèrè lọ́wọ́ àwọn ènìyàn bí ó ṣe lọ. Ìdáhùn náà kò rọrùn fún camp kankan. Ó fọ́ itan pé AI máa ń turbocharge expert developers lórí hard, familiar code ní gbogbo igba. Ó tún fọ́ idakeji tó mọ́ — “a ti fi ẹ̀rí múlẹ̀ pé AI ń mú developers lọ́ra” — nítorí newer dátà ti ẹgbẹ́ kan náà ti ń tẹ̀ sí ìhà speedup. Ẹ̀kọ́ tó lè pẹ́ jù ni kéré, tó sì jẹ́ ti ènìyàn: àwọn ènìyàn tó ṣe iṣẹ́ ní ìmọ̀lára pé wọ́n yara, nígbà tí measurement fi hàn pé wọ́n lọ́ra. “Ó dà bí ẹni pé ó yara” kì í ṣe ẹ̀rí pé ó yara. Wọn un.
Àkótán kedere
Nínú randomized controlled ìdánwò, METR jẹ́ kí experienced open-source developers 16 ṣe gidi iṣẹ́-ṣiṣe 246 lórí codebases tí wọ́n mọ̀ dáadáa, pẹ̀lú early-2025 AI irinṣẹ́ (Cursor Pro àti Claude 3.5/3.7 Sonnet) tí a gba láàyè fún random half. Àwọn developers retí pé AI yóò dín iṣẹ́-ṣiṣe àkókò kù ní ayíká 24%; dípò bẹ́ẹ̀, completion àkókò ga ní 19% — lẹ́yìn náà wọ́n ṣì rò pé AI mú wọn yara síi ní ayíká 20%. Perception gap yẹn ni core àwárí tó muna jù. Ṣùgbọ́n developers 16 ni, setting kan tó dín, snapshot ti ìbẹ̀rẹ̀ 2025; àwọn olùkọ̀wé sọ kedere pé kò fi hàn pé AI kò ran ọ̀pọ̀ developers lọ́wọ́, newer follow-up wọn sì ti ń tọ́ka sí speedup, pẹ̀lú caveats tirẹ̀. Measurement tó tọ́ sí ìfiyèsí — kì í ṣe verdict lórí AI coding.
Àwọn orísun
Da lórí: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity — Joel Becker, Nate Rush, Beth Barnes, David Rein (METR), arXiv:2507.09089 [cs.AI] (preprint).
- Àtẹ̀jáde àkọ́kọ́ — J. Becker, N. Rush, B. Barnes, D. Rein (METR), Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, arXiv:2507.09089 [cs.AI] (2025)
- Orísun — METR, 'Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity' (study write-up, July 2025)
- Orísun — METR, developer-uplift follow-up (February 2026)
Àkíyèsí olóòtú
AI ni ó kọ àpilẹ̀kọ yìí, ẹgbẹ́ olóòtú sì ṣàyẹ̀wò rẹ̀. Ó jẹ́ àlàyé tó ṣe kedere, tó sì ṣọ́ra nípa iṣẹ́ tí a so mọ́ ọn; kì í ṣe arọ́pò fún kíka iṣẹ́ náà. Olóòtú ni ó ṣì ní ojúṣe fún yíyan, ìtumọ̀ àti ọ̀rọ̀ ìkẹyìn.