资深开发者觉得 AI 让自己更快，实际测下来却更慢——这是真发现，但不是对 AI 编程的最终判决

资深开发者觉得 AI 让自己更快，实际测下来却更慢——这是真发现，但不是对 AI 编程的最终判决

问一位有经验的程序员：“AI 编程助手有没有让你更快？”通常很快就会得到一个数字：省了 20%、30% 的时间。问经济学家或机器学习研究者，数字往往还会更大。

2025 年初，METR 的一个团队做了一件缓慢、昂贵，却真正能回答问题的事：直接测。他们找来 16 名资深开源开发者，交给他们 246 个来自大型、而且本人非常熟悉的代码库的真实任务；每一个任务都用随机方式决定能不能使用 AI 工具。然后计时。

开发者原本预测，AI 会把任务时间缩短约 24%。结果正好相反：允许 AI 的任务反而多花了 19% 时间。

而更值得停下来看的，是后面这件事：做完实验后，同一批开发者仍然相信 AI 让自己快了约 20%。他们实际更慢，感觉却更快；这两个数字之间的距离，才是这项研究最有意思的部分。

这是一个真实、仔细测量的结果。但它同时也只是 16 名开发者、在自己非常熟悉的代码库、使用 2025 年初工具的结果——而不是一句平面的“AI 让开发者变慢”。同一个团队较新的数据，甚至已经开始往相反方向走。

作者做了什么

• METR 的 Joel Becker、Nate Rush、Beth Barnes、David Rein 执行一项随机对照试验。16 名资深开源开发者，每人都在自己长期参与、非常熟悉的大型代码库工作；平均已在对应项目工作约五年。
• 使用 246 个真实任务：来自那些项目 issue tracker 的 bug 修正、新功能与重构。每个任务随机分成“可使用 AI”或“不可使用 AI”。
• “可使用 AI”指的是2025 年初工具：Cursor Pro 搭配 Claude 3.5/3.7 Sonnet。主要指标是每个任务真正花掉的完成时间。另外也收集开发者事前预测、事后估计，以及经济学与机器学习专家的预测。

他们发现了什么

• 使用 AI 时，任务反而多花 19% 时间。 不是更快，是更慢。95% 置信区间大约从 +2% 到 +39%，因此方向相当稳固，精确效应量则仍有不确定性。
• 所有人原本都猜错方向。 开发者预测快 24%，机器学习专家约 38%，经济学家约 39%。三群人都预期 AI 能省下大量时间；码表却显示它多花了一些。
• 感知落差。 做完工作、实际变慢后，开发者仍估计 AI 让自己快了约 20%——“感受到的”和“实际计时”之间，大约差 40 个百分点。
• 可能原因被列出、比较，但没有被证明。 作者提出几个可能解释：这些开发者对自己代码库太熟，助理能补充的东西较少；成熟项目有很高、而且常是默会的质量标准；代码库很大，模型缺少许多上下文；以及真实时间会消耗在提示、检查与修正 AI 输出。作者把这些当成线索，不是定论。

这并没有证明什么

• 它没有证明 AI 无法加速大多数开发者。作者直接这样说：16 名在自己熟悉代码上工作的专家，并不等于“平均开发者做平均任务”。
• 它没有证明 AI 没用，也没有证明它在其他情境会让人变慢——例如新加入某代码库的人、全新项目、不熟悉的语言，或其他领域。
• 它没有把工具永远冻结在原地。这是 2025 年初的 Cursor 与 Claude 3.5/3.7 Sonnet；作者明确表示，工具变好，或同样工具的使用方式变好，都可能让即使完全相同的情境得到不同结果。
• 这是一篇预印本（2025 年 7 月发布，尚未同行评审）；作者也表示无法完全排除实验设计造成的假象——虽然 19% 变慢的结果经过多种稳健性分析仍存在。
• 它也不允许一个安慰式解读：“也许开发者虽然慢一点，但学得更多、比较快乐，或代码更好。”这些可能性没有在这里被证明；研究真正测得的一件主观东西——“觉得自己变快”——恰好是数据直接反驳的。

证据有多强

• 研究设计异常诚实。 随机化、真实任务、真实代码库、实际计时——比 AI 软件开发讨论常依赖的自我报告与基准测试排行榜高出一大截。19% 变慢在作者的稳健性检查中仍然存在。
• 最可能跨情境成立的结果，是感知落差。 专家对“AI 让自己快多少”的直觉，往乐观方向错了约 40 个百分点。这对任何 AI 生产力自我报告都是警告——也包括这篇研究自己的受试者。
• 这是一张快照，不是一条趋势线。 METR 自己在 2026 年 2 月的后续研究，用类似开发者与较新工具，已经开始指向加速——很粗略地说，回锅开发者约 −18%，新加入者约 −4%。但作者自己把它标成弱证据，因为参与者选择偏误变得很严重：越来越多开发者拒绝在不能用 AI 的条件下工作，报酬水平下降，而且任务选择也偏了。最诚实的读法是：图景正在移动，而且连这个移动本身都必须小心测。

为什么重要

AI 与软件开发的大部分争论，都靠 demo 和感觉运转：一段流畅的屏幕录影、一个很有信心的宣称，再配上一个反方向的白眼。真正少见、也让这篇值得看的，是有人真的去做了那个无聊的实验：随机分配、计时真实工作，再问大家感觉如何。

答案让两边都不太舒服。它戳破了“AI 一定能让熟悉复杂代码的专家全面暴增速度”的故事；也戳破了另一个整齐的相反故事——“已证明 AI 让开发者变慢”——因为同一团队的新数据已经开始往相反方向走。

最耐久的教训反而最小、也最人性：做工作的人感觉更快，但测出来更慢。“感觉更快”不是它真的更快的证据。量它。

简明总结

在一项随机对照试验中，METR 让 16 名资深开源开发者完成 246 个来自熟悉代码库的真实任务，其中一半随机允许使用 2025 年初 AI 工具（Cursor Pro 加 Claude 3.5/3.7 Sonnet）。开发者原本预期 AI 能把任务时间缩短约 24%；结果反而让完成时间增加 19%，而做完后他们仍相信 AI 让自己快了约 20%。这个感知落差，是研究最锐利也最稳健的核心。但样本只有 16 人、情境很窄，而且只是 2025 年初工具状态的一张快照；作者明确表示，这不能证明 AI 对多数开发者没有帮助，而他们 2026 年的后续研究甚至已经倾向显示加速，只是也有自己的限制。这是一个值得认真看待的仔细测量，不是对 AI 软件开发的最终判决。