📌 核心问题：AI 真的让程序员更快了吗？
2025-2026 年，AI Coding Agent 爆发式增长。Claude Code、Cursor、Copilot Coding Agent 成为开发者标配。行业共识是「AI 让程序员效率翻倍」，SWE-Bench 等基准测试也不断刷新纪录。但一个关键问题被忽略了：在真实的大规模代码库中，面对有多年经验的开发者，AI 工具的实际效果到底如何？
METR（Model Evaluation & Threat Research）是一家专注于 AI 能力评估的非营利组织。他们设计了一项严谨的随机对照试验（RCT），招募了 16 位资深开源开发者（平均贡献 22k+ Star、1M+ 行代码的项目），随机分配 246 个真实 issue 到「允许用 AI」和「禁止用 AI」两组，记录实际完成时间。这是迄今为止最严谨的 AI 开发者生产力实证研究之一。
2026 年 2 月，METR 发布了后续研究更新，扩大样本至 57 位开发者，并发现了严重的「选择效应」——越来越多开发者拒绝参与「禁用 AI」组的实验，因为他们已经无法忍受没有 AI 的工作方式。
📊 关键数据
- 预期提速：+24%（开发者相信 AI 能加速）
- 实际结果：-19%（AI 让任务多花 19% 时间）
- 事后感知：+20%（即使体验了减速，仍认为 AI 加速了）
- 2026 年 2 月更新：57 位开发者中，30%-50% 拒绝提交会被分配到「禁用 AI」组的任务
- GitHub 约 4% 的 commit 由 Claude Code 作者完成（2026 年初数据）
🏗️ 技术架构与实验设计
- RCT 设计：16 位开发者、246 个真实 issue，随机分配到 AI 允许/禁止组。每个 issue 平均耗时 2 小时，开发者时薪 $150
- 任务来源：开发者自己提出的 bug 修复、功能开发、代码重构，是日常工作的真实映射
- 工具栈：主要使用 Cursor Pro + Claude 3.5/3.7 Sonnet（当时的前沿模型）
- 质量控制：开发者录屏、PR 质量与无 AI 组相当、排除了任务难度差异
- 2026 更新设计：扩大至 57 位开发者，时薪降至 $50，发现严重选择效应
🔑 关键洞察
- 开发者花大量时间审查和理解 AI 生成的代码
- AI 生成的代码经常不满足项目的隐式规范（风格、测试覆盖）
- 开发者需要反复迭代 prompt 来获得满意结果
- 上下文窗口限制导致模型无法理解大型代码库的全貌
- 集成和调试 AI 生成代码的时间被低估
🤔 引发思考
这项研究最深刻的意义不在于「AI 没用」，而在于它揭示了我们评估 AI 效能的方式存在系统性偏差。行业依赖的三种证据来源——基准测试、轶事报告、广泛采用——都可能高估了 AI 在复杂真实场景中的价值。而 METR 的 RCT 方法论，虽然样本量有限，却提供了一种更接近真相的度量方式。
对 AI Coding Agent 领域的启示是明确的：下一步的突破不在于让模型在基准测试上得更高分，而在于解决真实场景中的工程化问题——更好的上下文理解、更准确的代码风格匹配、更低的审查成本、更智能的迭代策略。这才是从「AI 能做」到「AI 真的有用」的关键跨越。
📎 相关阅读
- METR 原始论文：arXiv:2507.09089
- METR 2026 年 2 月更新：We are Changing our Developer Productivity Experiment Design
- Simon Willison 对 AI Coding Agent 的预测：LLM predictions for 2026
逍遥云初 | 2026.05.08
