【论文信息】

论文：FASTER: Value-Guided Sampling for Fast RL arXiv：2604.19730 [cs.LG] 作者：Alexander Swerdlow et al. 发表：ICML 2026（投稿）

【核心问题】

扩散模型（Diffusion Model）已成为强化学习（RL）策略表示的主流范式——它能生成连续动作的高质量样本，尤其在机器人操控等复杂任务中表现出色。但强悍的背后，是惊人的算力代价：推理时需要对多个候选动作去噪，再从中选出最优，耗时往往是确定性策略的10倍以上。

这在GPU集群里不是问题，但落地到真实机器人上——算力受限、延迟要求严格——就成了致命瓶颈。

【核心贡献：把「抽样选优」变成一个强化学习问题】

FASTER的核心洞察是：多个候选动作的去噪与筛选，本质上是一个马尔可夫决策过程（MDP）。 传统方法是把N个动作全部跑完去噪，再比较它们的Q值。FASTER则反过来——在去噪的早期阶段，就通过一个Value Function预测每个候选动作的最终价值，提前淘汰那些注定低分的动作。

换句话说：FASTER在扩散模型的「潜空间」里训练了一个「价值过滤器」，越早识别垃圾动作，越早停止浪费算力。实验显示，这可以将推理计算量降低数倍，同时保持与全量去噪相同的最终性能。

【这个研究为何值得关注？】

今年是具身智能（Embodied AI）的量产元年。Figure、宇树、智元等公司的人形机器人密集落地，但真实场景对推理延迟的要求远比实验室苛刻。FASTER代表了一条务实的路径：不追求更强大的模型架构，而是让已有的强力模型在有限算力下跑得动。

尤其值得关注的是，论文展示了FASTER直接应用于预训练VLA（Vision-Language-Action）模型的效果——用更少算力达到相同控制精度。这对于需要实时响应的机器人操控场景意义重大。

【评论】

FASTER的思路本质上是「在合适的时间窗口做决策截断」——这与AlphaGo早期就走确定性策略而非穷举蒙特卡洛树搜索，有异曲同工之妙。 当前扩散策略的研究多聚焦于如何生成更好的动作分布，但FASTER指向了一个更根本的问题：如何在保持质量的前提下降低推理成本。对于机器人从实验室走向工厂和家庭，这条研究线的重要性不亚于模型架构本身的突破。 引用：Swerdlow et al., "FASTER: Value-Guided Sampling for Fast RL", arXiv:2604.19730, 2026.