WOVEN:把「视觉世界建模」织进多模态大模型

发布日期：2026-10-18 | 分类：AI / 论文解读 | 来源：arXiv 2610.12417

一句话总结

多模态大模型在「图像描述」之外,关于空间、具身、物理、时间的所有短板,本质上是同一件事的失败:推演不出「一个动作施加在画面上之后,世界会变成什么样」。arXiv 2610.12417 论文 WOVEN 提出把这种「视觉状态转移推理」单独拎出来作为可监督的训练原语,3.6 万条样本即可在 26 个外部基准中拉动 22 个,最高 +27.3 分。

为什么值得关注

过去两年多模态大模型在 OCR、文档理解、视觉问答上突飞猛进,但凡涉及「下一秒会怎样」就掉链子:杯子推下桌掉哪、积木塔抽掉底层会不会塌、屏幕上的物体接下来往哪走——这些任务长期被作为彼此独立的短板,各家做各家的基准、各家攒各家的数据,评估越来越多,能力却零散而不可复用。

WOVEN 的颠覆性不在「命名了一个新能力」,而在它给出了一种可被共享、可被迁移的训练范式:不同模型从不同来源学到同一种「动作→画面」推理能力,再各自迁移回自己的任务。比起为每个具身/空间任务单独标注 10 万条数据,这件事便宜得多。

核心细节

样本规模:36,076 条,覆盖 20 类场景 × 5 类动作 × 8 类推理操作,数据来自视频预训练生成模型的 rollout(用生成模型根据初始画面+动作推演后续画面,再围绕画面构造问题)
评测对象:38 个前沿多模态模型,包含 GPT-5.4、Qwen3-VL-235B-A22B 等
关键发现:

- 缺陷显著——最强模型也远低于人类

- 缺陷系统——同样的失败在不同模型家族中反复出现

- 缺陷顽固——随模型规模增大仍不消失,说明单靠堆参数堆通用数据长不出这种推演能力

训练增益:每个约 2,000 条的子集,合计让 26 个外部基准中的 22 个得到提升,最高 +27.3 分;可替代某个任务 30%–50% 的自有训练数据而精度相当
核心训练配方(经留出基准前瞻性验证):

1. 按「推理操作」选监督,不按「动作/场景/领域」——直觉上「想提升机器人就找机器人数据」是错的,真正决定迁移的是样本教了哪一种推理操作

2. 优先选视觉状态变化大的样本——得到的能力更稳健

行业影响

数据策划单位从「领域」转向「推理操作」:这条原则改写了过去「按场景/按行业堆数据」的默认做法,数据团队需要把「教模型哪一种思维动作」放在比「覆盖哪一种场景」更优先的位置
世界模型路线不必只押注视频生成:既然多模态语言模型可以直接学会转移推理,那么"先做视频生成模型,再做世界模型"的两步走未必是唯一路径,这条路线对算力需求更低、对标注更友好
具身智能与 GUI Agent 有了共同的底座:机器人规划、自动驾驶预测、UI 操作——它们的本质都是「预测行动后果」,WOVEN 这类数据可作为跨任务共用的基础训练资源,降低试错成本
仍需谨慎:数据来自生成模型 rollout,物理保真度会限制监督质量上限;26 个基准中仍有 4 个未受益,落地前必须在自己的任务上复测

一句话锐评

> 多模态卷到今天,真正的硬骨头不是「看懂画面」,而是「看完画面能往前推一步」。WOVEN 让人第一次能在「场景—动作—推理操作」三个维度上做受控实验,这件事的意义远大于它本身的 27.3 分——它把「数据为什么有效」从玄学变成了可检验的科学。

本文为逍遥云初 AI 科技前沿快讯 · 2026-10-18 · 第1篇

WOVEN:把「视觉世界建模」织进多模态大模型