Опитни разработчици се чувствали по-бързи с AI, докато измеримо работели по-бавно — истинският резултат и присъдата за AI програмирането, която той не е

Опитни разработчици се чувствали по-бързи с AI, докато измеримо работели по-бавно — истинският резултат и присъдата за AI програмирането, която той не е

Попитайте опитен програмист дали AI помощник за писане на код го ускорява и обикновено ще получите число: спестява ми двайсет, трийсет процента. Попитайте икономист или изследовател по машинно обучение и числото става още по-голямо. В началото на 2025 г. екип от METR прави бавната и скъпа проверка. Взема шестнадесет опитни разработчици на софтуер с отворен код, дава им 246 реални задачи от големи кодови бази, които познават добре, и — задача по задача, чрез случайно разпределение — или им позволява да използват AI инструменти, или не. След това измерва времето.

Разработчиците предварително прогнозират, че AI ще намали времето им за задача с около 24%. Случва се обратното: задачите, изпълнявани с AI, отнемат 19% повече време. А ето частта, върху която си струва да се замислим — след приключването същите разработчици продължават да вярват, че AI ги е ускорил с около 20%. Работели са по-бавно, но са се чувствали по-бързи, и разстоянието между тези две числа е най-интересното в изследването.

Това е реален, внимателно измерен резултат. Но това са и само шестнадесет разработчици, работещи в хранилища, които познават в детайли, с инструментите от началото на 2025 г. — и резултатът не се свежда до плоското твърдение „AI прави разработчиците по-бавни“. По-късните данни на същия екип вече сочат в другата посока.

Какво са направили авторите

• Провеждат рандомизирано контролирано изпитване (METR: Joel Becker, Nate Rush, Beth Barnes, David Rein). Шестнадесет опитни разработчици на софтуер с отворен код, всеки работещ в голямо хранилище, за което редовно допринася и което познава добре — средно по пет години опит с конкретните проекти.
• Използват 246 реални задачи — поправки на бъгове, нови функции и рефакториране, взети от собствените системи за задачи на проектите. Всяка задача е разпределена на случаен принцип като „AI разрешен“ или „AI забранен“.
• „AI разрешен“ означава инструменти от началото на 2025 г.: Cursor Pro с Claude 3.5/3.7 Sonnet. Основната мярка е действителното време за изпълнение на всяка задача. Наред с него екипът събира предварителни прогнози от разработчиците, оценки след изпълнението, както и прогнози от експерти по икономика и машинно обучение.

Какво са установили

• С AI задачите отнемат 19% повече време. Не по-бързо — по-бавно. 95-процентният доверителен интервал е приблизително от +2% до +39%, така че посоката е стабилна, дори точният размер да остава несигурен.
• Всички са предвидили обратното. Разработчиците прогнозират 24% ускорение; експертите по машинно обучение — около 38%; икономистите — около 39%. И трите групи очакват AI да спести много време; хронометърът показва, че то всъщност струва време.
• Разликата във възприятието. След като свършват работата по-бавно, разработчиците все още оценяват, че AI ги е ускорил с около 20% — разлика от приблизително 40 процентни пункта между усещането и измереното време.
• Възможни причини, претеглени, а не доказани. Авторите посочват фактори, които биха могли да обяснят забавянето: тези разработчици познават собствените си кодови бази много добре, така че помощникът има по-малко какво да добави; зрелите проекти имат високи, често неявни стандарти за качество; хранилищата са големи и пълни с контекст, който моделът няма; а реално време се изразходва за подсказки, после за преглед и поправяне на AI изхода. Това са насоки, не окончателни присъди.

Какво не показва това

• То не показва, че AI не успява да ускори повечето разработчици. Авторите го казват пряко: шестнадесет експерти, работещи върху код, който познават почти наизуст, не са средният разработчик със средната задача.
• То не показва, че AI е безполезен или че забавя хората в други ситуации — новодошли в кодова база, нови проекти от нулата, непознати езици или изцяло други области.
• То не замразява инструментите във времето. Това са Cursor и Claude 3.5/3.7 Sonnet от началото на 2025 г.; авторите изрично отбелязват, че по-добри инструменти или по-добри начини за използването им могат да променят резултата дори в същата среда.
• Това е препринт (публикуван през юли 2025 г., все още нерецензиран) и авторите отбелязват, че не могат напълно да изключат експериментални артефакти — макар резултатът да се запазва при различните им анализи.
• То не оправдава успокояващото тълкуване, че разработчиците сигурно са спечелили по някакъв друг начин — научили са повече, чувствали са се по-добре, написали са по-качествен код. Единственото подобно нещо, измерено тук — усещането за ускорение — е точно онова, на което данните противоречат.

Колко силни са доказателствата

• Дизайнът е необичайно честен. Рандомизация, реални задачи, реални хранилища, действително измерване на времето — голяма крачка напред спрямо самооценките и класациите от бенчмаркове, върху които се опират повечето твърдения за AI програмиране. Забавянето от 19% остава при проверките за устойчивост на авторите.
• Най-преносимият резултат е разликата във възприятието. Експертната интуиция за собственото ускорение с AI греши с около 40 пункта, при това в оптимистичната посока. Това е предупреждение за всяка самоотчетена печалба в продуктивност от AI — включително числата в самото това изследване.
• Това е моментна снимка, не тенденция. Собственото проследяване на METR от февруари 2026 г. със същия тип разработчици, но с по-нови инструменти, сочи към ускорение — много приблизително −18% за завръщащи се разработчици и −4% за нови — но авторите го определят като слабо доказателство, изкривено от това кой е бил склонен да участва (разработчиците все по-често отказват да работят без AI, заплащането е намалено, а подборът на задачи се измества). Честният прочит е, че картината се движи и дори движението е докладвано предпазливо.

Защо е важно

Голяма част от спора за AI и програмирането се движи от демонстрации и усещания: лъскав запис на екрана, уверено твърдение, насрещно завъртане на очи. Рядкото — и причината това изследване да си струва четенето — е, че някой е провел скучния експеримент: рандомизирай, измери времето за реална работа, после попитай хората как е минало. Отговорът е неудобен и за двата лагера. Той пробива разказа, че AI еднакво турбоускорява експертните разработчици върху труден и познат код. Но пробива и подредената противоположност — „доказано е, че AI прави разработчиците по-бавни“ — защото по-новите данни на същия екип вече клонят в другата посока. Най-трайният урок е и най-малкият, и най-човешкият: хората, които вършат работата, се чувстват по-бързи, докато измеримо са по-бавни. „Усеща се по-бързо“ не е доказателство, че е така. Измерете го.

Кратко обобщение

В рандомизирано контролирано изпитване METR възлага на шестнадесет опитни разработчици на софтуер с отворен код да изпълнят 246 реални задачи в кодови бази, които познават добре, като за случайно избрана половина от задачите са разрешени AI инструменти от началото на 2025 г. (Cursor Pro плюс Claude 3.5/3.7 Sonnet). Разработчиците очакват AI да намали времето им за задача с около 24%; вместо това то се увеличава с 19% — а след това те все още вярват, че AI ги е ускорил с около 20%. Тази разлика между възприятие и измерване е ясното и устойчиво ядро на изследването. Но това са шестнадесет разработчици, една тясна среда и фиксирана снимка на началото на 2025 г.; авторите изрично казват, че резултатът не показва, че AI не помага на повечето разработчици, а собственото им проследяване от 2026 г. вече сочи към ускорение, със свои уговорки. Внимателно измерване, което заслужава да бъде взето насериозно — не присъда за AI програмирането.