برنامهنویسان باتجربه با AI احساس میکردند سریعترند، اما اندازهگیری نشان داد کندتر شدهاند — یافتهٔ واقعی همین است، نه حکم نهایی دربارهٔ کدنویسی با AI
اگر از یک برنامهنویس باتجربه بپرسید دستیار کدنویسی مبتنی بر AI چقدر سرعتش را بالا میبرد، معمولاً عددی میشنوید: بیست، سی درصد در وقت صرفهجویی میکند. اگر از یک اقتصاددان یا پژوهشگر یادگیری ماشین بپرسید، عدد معمولاً بزرگتر میشود. اوایل ۲۰۲۵ تیمی در METR کار کند و پرهزینه را انجام داد و واقعاً اندازه گرفت. شانزده توسعهدهندهٔ باتجربهٔ متنباز را گرفتند، ۲۴۶ کار واقعی از کدبیسهای بزرگی که آنها خوب میشناختند به دستشان دادند و — با قرعه، برای هر کار جداگانه — یا اجازهٔ استفاده از ابزارهای AI دادند یا ندادند. سپس زمان کار را اندازه گرفتند.
توسعهدهندگان پیشبینی کرده بودند AI زمان انجام کار را حدود ۲۴٪ کاهش میدهد. برعکس شد: کارهایی که با AI انجام شدند ۱۹٪ بیشتر طول کشیدند. و بخش واقعاً قابلتأمل اینجاست — همان توسعهدهندگان پس از پایان کار هنوز باور داشتند AI آنها را حدود ۲۰٪ سریعتر کرده است. کندتر بودند و احساس میکردند سریعترند؛ فاصلهٔ این دو عدد جالبترین یافتهٔ مطالعه است.
این نتیجهای واقعی و با دقت اندازهگیریشده است. اما در عین حال دربارهٔ شانزده توسعهدهنده است، روی مخزنهایی که عمیقاً میشناختند، با ابزارهای اوایل ۲۰۲۵ — و معادل جملهٔ تخت «AI توسعهدهندگان را کندتر میکند» نیست. دادههای بعدی همان گروه نیز از همین حالا جهت دیگری را نشان میدهد.
این مطالعه چه چیزی را اندازه گرفت و یک کارآزمایی تصادفی چه مزیتی دارد
کارآزمایی تصادفی کنترلشده (RCT) همان ابزاری است که پزشکی برای جدا کردن اثر واقعی از امید و انتظار استفاده میکند. اینجا هر یک از ۲۴۶ کار بهطور تصادفی به حالت «AI مجاز» یا «AI غیرمجاز» تخصیص یافت؛ بنابراین در میانگین، تنها تفاوت نظاممند میان دو گروه خود AI است. همین اجازه میدهد بگوییم AI سبب تغییر زمان شد، نه اینکه فقط متوجه شویم کسانی که سراغ AI میروند به دلایل دیگری سریعتر یا کندترند. این مهم است، چون شواهد معمول دربارهٔ افزایش بهرهوری کدنویسی با AI — خوداظهاری و امتیاز بنچمارک — چنین کاری نمیکنند: بنچمارک کار واقعی نیست و خوداظهاری، همانطور که این مطالعه نشان میدهد، میتواند با اطمینان اشتباه باشد. توسعهدهندگان اینجا تازهکارانی نبودند که با اسباببازی جدید دستوپنجه نرم کنند. آنها مشارکتکنندگان تثبیتشدهٔ پروژههای بزرگ و بالغ متنباز بودند که خوب میشناختند و بعضی تجربهٔ قبلی استفاده از این ابزارها را نیز داشتند.
نویسندگان چه کردند
- یک کارآزمایی تصادفی کنترلشده اجرا کردند (METR: Joel Becker، Nate Rush، Beth Barnes و David Rein). شانزده توسعهدهندهٔ باتجربهٔ متنباز، هر کدام روی مخزن بزرگی کار کردند که مرتب در آن مشارکت داشتند و خوب میشناختند — بهطور میانگین پنج سال سابقه روی همان پروژهٔ خاص.
- از ۲۴۶ کار واقعی استفاده کردند — رفع باگ، قابلیت جدید و بازآرایی کد از issue tracker همان پروژهها. هر کار بهطور تصادفی به «AI مجاز» یا «AI غیرمجاز» تخصیص یافت.
- «AI مجاز» یعنی ابزارهای اوایل ۲۰۲۵: Cursor Pro با Claude 3.5/3.7 Sonnet. معیار اصلی زمان واقعی تکمیل هر کار بود. در کنار آن، تیم پیشبینیهای قبل از کار و برآوردهای پس از آن را از خود توسعهدهندگان، و نیز پیشبینیهای متخصصان اقتصاد و یادگیری ماشین جمعآوری کرد.
چه پیدا کردند
- با AI، کارها ۱۹٪ بیشتر طول کشیدند. نه سریعتر — کندتر. فاصلهٔ اطمینان ۹۵٪ تقریباً از +۲٪ تا +۳۹٪ است، بنابراین جهت اثر نسبتاً محکم است هرچند اندازهٔ دقیق آن نه.
- همه برعکسش را پیشبینی کرده بودند. توسعهدهندگان ۲۴٪ افزایش سرعت پیشبینی کردند؛ متخصصان یادگیری ماشین حدود ۳۸٪ و اقتصاددانان حدود ۳۹٪. هر سه گروه انتظار صرفهجویی قابلتوجه در زمان داشتند؛ زمانسنج نشان داد مقداری زمان اضافه شد.
- شکاف ادراک. توسعهدهندگان پس از انجام کار، با وجود اینکه کندتر شده بودند، هنوز برآورد کردند AI حدود ۲۰٪ سرعتشان را بالا برده است — تقریباً ۴۰ واحد درصد فاصله میان احساس و چیزی که ساعت ثبت کرد.
- علتهای نامزد، نه علتهای اثباتشده. نویسندگان چند عامل ممکن برای توضیح کندی را کنار هم میگذارند: این توسعهدهندگان کدبیس خود را عمیقاً میشناسند، پس دستیار فضای کمتری برای افزودن ارزش دارد؛ پروژههای بالغ استانداردهای کیفی بالا و اغلب ضمنی دارند؛ مخزنها بزرگ و پر از زمینهای هستند که مدل در اختیار ندارد؛ و زمان واقعی صرف نوشتن prompt، سپس بازبینی و اصلاح خروجی AI میشود. مقاله اینها را سرنخ میداند، نه حکم قطعی.
این مقاله چه چیزی را اثبات نمیکند
- نشان نمیدهد AI نمیتواند بیشتر توسعهدهندگان را سریعتر کند. نویسندگان صریحاً همین را میگویند: شانزده متخصص روی کدی که از بر هستند نمایندهٔ توسعهدهندهٔ متوسط روی کار متوسط نیستند.
- نشان نمیدهد AI بیفایده است یا در محیطهای دیگر هم آدمها را کند میکند — تازهواردان به یک کدبیس، پروژههای از صفر، زبانهای ناآشنا یا حوزههای کاملاً متفاوت.
- ابزارها را در زمان منجمد نمیکند. این Cursor و Claude 3.5/3.7 Sonnet اوایل ۲۰۲۵ است؛ نویسندگان صریحاند که ابزارهای بهتر یا شیوهٔ بهتر استفاده از همین ابزارها میتواند حتی در همین محیط دقیقاً نتیجه را تغییر دهد.
- این یک پیشچاپ است (منتشرشده در ژوئیهٔ ۲۰۲۵ و هنوز داورینشده)، و نویسندگان میگویند نمیتوانند تمام مصنوعات آزمایشی را کاملاً رد کنند — هرچند نتیجه در تحلیلهای مختلفشان پابرجا ماند.
- و اجازه نمیدهد خیالمان را راحت کنیم که شاید توسعهدهندگان از راه دیگری سود بردهاند — بیشتر یاد گرفتهاند، خوشحالتر بودهاند یا کد بهتری نوشتهاند. چیزی که اینجا مستقیماً با داده تناقض دارد همان احساس افزایش سرعت است.
قدرت شواهد چقدر است؟
- طراحی بهطور غیرمعمولی صادقانه است. تصادفیسازی، کار واقعی، مخزن واقعی و زمانگیری واقعی — جهشی بزرگ نسبت به خوداظهاری و جدولهای بنچمارکی که بیشتر ادعاهای بهرهوری AI به آنها متکیاند. کندی ۱۹٪ از آزمونهای پایداری نویسندگان جان سالم به در برد.
- قابلانتقالترین یافته شکاف ادراک است. شهود متخصص دربارهٔ افزایش سرعت خودش با AI حدود ۴۰ واحد درصد در جهت خوشبینانه خطا کرد. این هشداری است دربارهٔ هر ادعای خوداظهاری از افزایش بهرهوری با AI — از جمله عددهای همین مطالعه.
- این یک عکس فوری است، نه روند. پیگیری فوریهٔ ۲۰۲۶ خود METR، با همان نوع توسعهدهنده و ابزارهای جدیدتر، به سمت افزایش سرعت اشاره میکند — بسیار تقریبی، حدود −۱۸٪ زمان برای توسعهدهندگان بازگشته و −۴٪ برای افراد جدید — اما نویسندگان آن را شواهد ضعیفی میدانند، چون اینکه چه کسی حاضر به شرکت شد داده را منحرف میکند (توسعهدهندگان بیشازپیش حاضر نبودند بدون AI کار کنند، نرخ پرداخت پایین آمد و انتخاب کارها سوگیرانه شد). خوانش صادقانه این است که تصویر در حال حرکت است و حتی خود این حرکت هم با احتیاط گزارش شده است.
چرا مهم است
بخش زیادی از بحث AI و برنامهنویسی روی دمو و حس میچرخد: یک ویدیوی براق، یک ادعای مطمئن، یک چشمغرهٔ مخالف. چیزی که نادر است — و این مطالعه را ارزشمند میکند — این است که کسی آزمایش کسلکننده را انجام داده: تصادفیسازی، زمانگیری کار واقعی، سپس پرسیدن اینکه «چطور بود؟» پاسخ برای هر دو اردوگاه ناراحتکننده است. داستانی را سوراخ میکند که AI همیشه توسعهدهندگان خبره را روی کد سخت و آشنا توربوشارژ میکند. و در عین حال روایت مرتبِ مخالف — «ثابت شد AI توسعهدهندگان را کند میکند» — را هم خراب میکند، چون دادهٔ جدیدتر همان تیم از همین حالا جهت مخالف را نشان میدهد. پایدارترین درس کوچکترین و انسانیترین است: کسانی که کار را انجام میدادند، در حالی که اندازهگیری نشان میداد کندترند احساس میکردند سریعترند. «حس میکنم سریعتر است» شاهدی نیست که واقعاً چنین باشد. اندازه بگیرید.
خلاصهٔ تمیز
در یک کارآزمایی تصادفی کنترلشده، METR از شانزده توسعهدهندهٔ باتجربهٔ متنباز خواست ۲۴۶ کار واقعی را روی کدبیسهایی که خوب میشناختند انجام دهند؛ برای نیمی تصادفی از کارها استفاده از ابزارهای AI اوایل ۲۰۲۵ (Cursor Pro بههمراه Claude 3.5/3.7 Sonnet) مجاز بود. توسعهدهندگان انتظار داشتند AI زمان کار را حدود ۲۴٪ کاهش دهد؛ در عوض زمان تکمیل ۱۹٪ افزایش یافت — و پس از کار هم هنوز باور داشتند AI حدود ۲۰٪ سریعترشان کرده است. این شکاف ادراک هستهٔ تیز و مقاوم مطالعه است. اما این فقط شانزده توسعهدهنده، یک محیط محدود و یک عکس فوری از اوایل ۲۰۲۵ است؛ نویسندگان صریحاً میگویند نتیجه نشان نمیدهد AI به بیشتر توسعهدهندگان کمک نمیکند، و پیگیری ۲۰۲۶ خودشان از همین حالا به سمت افزایش سرعت اشاره دارد، با احتیاطهای خودش. یک اندازهگیری دقیق که باید جدی گرفته شود — نه حکم نهایی دربارهٔ کدنویسی با AI.
منابع
بر پایهٔ: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity — Joel Becker, Nate Rush, Beth Barnes, David Rein (METR), arXiv:2507.09089 [cs.AI] (preprint).
- پیشچاپ (Preprint) — J. Becker, N. Rush, B. Barnes, D. Rein (METR), Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, arXiv:2507.09089 [cs.AI] (2025)
- منبع — METR, 'Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity' (study write-up, July 2025)
- منبع — METR, developer-uplift follow-up (February 2026)
نوشتهٔ
Lucio Vaglio
· تصاویر و پیوندها از سوی
Nova Vela · ویرایش به دست
Michele Renda
· ترجمهٔ
Nova Vela
The Clean Paper · 17 July 2026 · متن این وبسایت تحت مجوز CC BY-SA 4.0 منتشر شده است. تصاویر مجوز جداگانه دارند. 
یادداشت سردبیر
این مقاله با کمک هوش مصنوعی و بازبینی تحریری انسانی تهیه شده است. این متن توضیحی روشن و محتاطانه دربارهٔ اثر پیوندشده است، نه جایگزینی برای خواندن آن. مسئولیت گزینش، تفسیر و نگارش نهایی بر عهدهٔ سردبیر است.