论文链接:https://www.anthropic.com/research/AI-assistance-coding-skills

原始发布日期:2026-01-29 | 研究机构:Anthropic


📌 核心问题:AI 辅助编程是「提效」还是「降能」?

当 AI 编程工具以惊人速度渗透到开发者的日常工作中,一个根本性的问题被提了出来:使用 AI 辅助编程,究竟是在加速技能成长,还是在制造一批「不会写代码的代码工人」?

Anthropic 联合外部研究者开展了一项随机对照试验(RCT),以 52 名软件工程师为对象,研究 AI 辅助编程对技能习得的影响。这是业界首批以严格实验设计来量化 AI 对编程技能影响的研究之一,其结论令人警醒:AI 辅助组在随后的技能测试中得分比手写组低 17%,相当于降了近两个字母等级。

但故事并非简单的「AI 有害论」。研究发现,AI 交互方式的不同会导致截然不同的学习结果。关键不在于是否使用 AI,而在于如何使用 AI。


📊 关键数据

  • 样本:52 名软件工程师(多数为初级),每周至少使用 Python 一次,且对 Trio 库不熟悉
  • 实验分组:AI 辅助组 vs 手写编码组(随机分配)
  • AI 辅助组平均测试得分:50%;手写组:67%(Cohen's d=0.738, p=0.01)
  • 最大差距出现在 Debugging 题型 — 识别和诊断代码错误的能力
  • AI 辅助组完成任务平均快 2 分钟,但差异未达统计显著
  • 部分参与者花了高达 11 分钟(总时间的 30%)来编写 AI 查询

🏗️ 实验设计与方法

  • 三阶段流程:热身 → 主任务(用 Trio 库实现两个异步编程功能)→ 技能测试
  • 测试覆盖四类能力:Debugging(调试)、Code Reading(代码阅读)、Code Writing(编码)、Conceptual(概念理解)
  • 重点评估前三类,因为这些是人类监督 AI 生成代码的核心能力
  • AI 组使用的侧边栏助手可访问参与者代码,随时可生成正确代码
  • 参与者知道会有测试,但被鼓励尽可能快速完成任务

🔑 关键洞察

🔑 AI 交互模式决定学习效果

研究通过屏幕录像分析,识别出六种不同的 AI 交互模式,分为低分模式和高分模式两类。低分模式(平均低于 40%)包括:完全委托 AI 编码、渐进式依赖 AI、依赖 AI 调试。高分模式(平均 65% 以上)包括:生成后追问理解、混合式代码+解释请求、纯概念性提问。

核心差异在于:低分者把 AI 当「替身」,高分者把 AI 当「教练」。同样是使用 AI 辅助,学习结果可以天差地别。

🔑 Debugging 能力受冲击最大

在四类测试题中,调试题的组间差距最为显著。手写组因为遇到更多错误并自行解决,反而锻炼了调试能力。而 AI 辅助组遇到的错误更少,但也因此失去了一次重要的学习机会。

这个发现意义深远:在 AI 生成代码越来越普遍的时代,人类最重要的价值恰恰是「发现 AI 哪里写错了」。如果调试能力因为 AI 辅助而退化,那 AI 编程的安全网就出现了一个危险的漏洞。

🔑 「认知卸载」的陷阱

研究引用了先前文献:AI 辅助会降低用户的工作投入度和批判性思维。在编程场景中,这种「认知卸载」表现为:不再尝试自己理解代码逻辑,而是直接让 AI 给出答案。结果是任务完成了,但大脑没有参与。

有趣的是,概念性提问模式的参与者虽然遇到了最多的错误,但他们独立解决了这些问题,反而获得了最好的学习效果。犯错和挣扎本身就是学习的一部分。

🔑 速度 vs 掌握度的权衡

完全委托 AI 的模式完成任务最快,但测试得分最低(低于 40%)。概念性提问模式虽然不是最快的,但在高分组中速度排名第二。这打破了「AI 能同时提升速度和质量」的幻想。

在有时间压力的工作环境中(哪个环境没有呢?),初级开发者很自然会选择「让 AI 直接写」来完成任务,但这可能正在悄悄侵蚀他们未来独立工作的能力。


🤔 引发思考

这项研究对正在大力推进 AI 编程工具的企业提出了一个尖锐的问题:如果初级工程师的技能成长被 AI 辅助所阻碍,那么谁来监督越来越大量的 AI 生成代码?当 AI 写了 80% 的代码,而团队中没有人真正理解这些代码的运行逻辑时,系统的可靠性和安全性由谁来守护?

从 Harness Engineering 的角度看,这项研究佐证了一个观点:好的 AI 编程工具设计不应只追求「出活快」,还应该帮助开发者在使用过程中持续学习和成长。工具应该像一个好教练,而不是一个替身。那些能引导用户理解代码、解释设计决策、鼓励独立思考的交互模式,才是 AI 编程工具的正确进化方向。

对个人而言,研究也给出了实用建议:使用 AI 编程时,多问「为什么」而不是「帮我写」。生成代码后追问原理,遇到概念不清楚的地方主动请教 — 这些看似「浪费时间」的行为,恰恰是保持和提升技能的关键。


📎 相关阅读

  • 论文原文:How AI assistance impacts the formation of coding skills - Anthropic
  • 相关论文:Estimating Productivity Gains from AI - Anthropic
  • 相关研究:AI 对批判性思维的影响 - Microsoft Research

*逍遥云初 | 2026.05.19*