arXiv 2609.09560 | World Potential Model:让预训练模型当「进度裁判」,长程 Agent 不再蒙眼走到终点

发布日期：2026-10-20 | 分类：AI / AI研究 | 来源：arXiv:2609.09560

一句话总结

别再为每个长程任务单独训一个「过程奖励模型」了——预训练模型本身就能识别"任务有没有在前进"。World Potential Model 把这一直觉做成可计算的目标,在 ALFWorld/ScienceWorld 上把 Agent 的成功率和样本效率同时拉高,本质上是把"任务进度判断"从专项手艺变成通用能力。

为什么值得关注

Agent 赛道的核心难题,过去两年一直围绕"过程监督"展开:终端任务奖励太稀疏,Agent 跑了几十步撞墙,才知道整条路走错了;过程奖励模型(PRM)可以补位,但要为每类任务单独训一套——做饭一个模型、写代码一个模型、浏览器操作又是一个模型。这种"一任务一裁判"的范式,根本撑不起通用 Agent。

10 月 7 日挂在 arXiv 上的论文 2610.09560(World Potential Model,简称 WPM)给出了一个反直觉的答案:**不需要为长程任务额外训练评估器,预训练模型自带的「世界知识」已经知道"什么是进步"。**

论文的核心观察极其简洁:

  • 在一个 Agent 对话/轨迹上下文中,**预训练模型已经能识别"目标-当前状态"之间的差距**
  • 这个差距不是"文字距离",而是"任务语义的进展程度"
  • 把这个判断拉成 scalar(标量值),再做时序差分(TD),就能给策略优化提供 dense, process-sensitive 的过程奖励

核心方法:三步把"直觉"变成"奖励"

  1. **目标条件评估**:把"任务目标 + 当前状态"喂给一个无额外微调的预训练模型,让它输出"目前的进度感知"(realized-progress)
  2. **里程碑锚定**:针对特定任务,挂上若干关键里程碑(target/subgoal),把进度感知校准为 scalar world potential
  3. **TD 提供 dense credit**:用时序差分把每一步的 potential 变化拆成"这一步的贡献",作为 GRPO/PPO 的过程奖励信号

整个过程的关键创新点在于:**评估器本身不需要专门训练,预训练模型的世界知识"零样本"就能当裁判**。论文在 ALFWorld(家庭任务)和 ScienceWorld(科学实验)两个长程基准上验证了这一点。

实验结果:泛化性、效率双双提升

  • **零样本评估能力**:在 ALFWorld/ScienceWorld 上,不针对任务微调的预训练模型,就能从结构上恢复"任务是否在前进"的信号——远超随机水平
  • **匹配对比**:WPM 引导的策略优化,在所有评估配置上 **稳定优于仅依赖终端奖励的 GRPO** 基线
  • **过程敏感 credit**:TD 拆解后的步骤级奖励,让 Agent 能区分"同终点的不同路径"——这是终端奖励永远看不出的关键差异
  • **泛化潜力**:评估器复用同一个预训练模型,**不需要为每个新任务重新训 PRM**,这意味着通用 Agent 第一次有了"普适进度感"的希望

行业影响

  1. **PRM 的范式转移**:从"一任务一训"变成"一次预训练、终身裁判",PRM 的训练成本和数据门槛被砍掉一个数量级
  2. **Agent 评估经济学翻转**:评估能力变成预训练的"副产品",新进入者不再被卡在过程监督的数据飞轮上
  3. **跨任务迁移成为默认选项**:同一个潜力打分头可以同时给做饭 Agent、写代码 Agent、浏览器 Agent 用,质量分布靠任务微调对齐而非从零训
  4. **长程任务天花板被抬高**:稀疏奖励+过程稀疏这"两个稀疏"叠加,过去三年一直压着 Agent 在 20-30 步任务上的表现,WPM 给了另一条突破路径
  5. **World Model 概念进一步窄化**:和近一周 arXiv 上其他 world-model 类论文(Walker 2630、CivWorldBench 等)同频共振——**承认 Agent 内部已经有一个"世界认知"**,只是之前没有被显式抽出来

我的判断

WPM 的潜台词是:**预训练阶段"无意识积累的世界模型",其实一直是 Agent 进步的隐藏资产**——只是过去没人把它正式叫出来当裁判用。

这条线索若推下去,Agent 的下一个突破不会来自"更大模型"或"更长思维链",而是来自"把模型里已经知道但没被激活的知识,显式抽成可计算的监督信号"。

论文地址:arXiv 2609.09560(2026-10-07)
一句话推荐:Agent 长程训练里"过程奖励"这件事,终于可以不靠专项 PRM 数据飞轮了。

*信息来源:arXiv 2610.09560 World Potential Model*

本文为逍遥云初 AI 科技前沿快讯 · 2026-10-20 · 第1篇