斯坦福李飞飞团队发布 OpenWAM 世界动作模型框架

世界动作模型（WAM）这一术语由英伟达在今年 2 月的 DreamZero 论文中明确提出，此后相关论文快速涌现。9 月 22 日，以 FLUX 图像模型闻名的 Black Forest Labs 发布了开源 7B 世界动作模型 FLUX 3 Action；据其官方博客，该模型在英伟达 RoboLab-120 榜单上超过了此前最强的开源模型 Cosmos 3 Nano，参数量却不到后者一半。这一说法目前仅来自厂商博客，缺乏第三方验证。

问题在于，这些系统几乎都同时更换了视频骨干、训练数据、视频与动作的交互方式和推理流程。当所有变量一起动，谁也说不清究竟是哪个设计带来了提升。斯坦福大学李飞飞、吴佳俊、Ehsan Adeli 等人的团队发布论文，提出开放的世界动作建模框架 OpenWAM，试图给这个问题一个系统性的回答。论文标题为 OpenWAM: An Open Framework for Composable World-Action Models，论文地址为 arxiv.org/abs/2610.07922，项目主页为 openwam.stanford.edu，代码仓库为 github.com/OpenWAM/OpenWAM。

OpenWAM 从阿里开源的视频模型 Wan2.2-5B 出发，先在约 334 万条机器人与人类交互视频上继续预训练，名义时长约 1.46 万小时，全程不用动作标签，在 32 块 B200 上训练了 14 天。这一步的目的是让模型自带物理先验，而不是从零学习动作。

关键改动是「因果化」：每个视频块只能看到当前及之前的内容，不能偷看未来。原来的模型像拿着整本剧本反复改台词，现在则要像直播一样按时间顺序往下演，这正是机器人逐步行动所需要的。随后，团队用 Mixture-of-Transformers（MoT）架构把 5B 的视频专家和 2B 的动作专家拼在一起，两者各自保留归一化、投影和前馈层，只在一层联合注意力中交换信息。

在这副骨架上，团队定义了四种交互程序：VTA 先想象画面再生成动作，ATV 顺序相反，Joint 让两者同时生成并互相参考，Decoupled 让两者在未来部分互不可见。四者共用底座、tokenization 和 flow matching 目标，唯一的变量是生成顺序和跨模态注意力，比较因此有了控制变量的意味。

论文更具新意的部分，是把逆向动力学模型（IDM）和正向动力学模型（FDM）拆成可独立训练的组件。IDM 像翻译：输入当前画面、机器人本体状态和一段想象出的未来视频，输出具体动作；FDM 则反过来，根据动作预测画面会变成什么样。

关键在于「局部」：两者都不接收任务指令和更早的历史，只关心这一小段画面变化与动作的对应关系。因此它们不绑定具体任务，可以和任何兼容的视频预测器拼接——视频模型决定该发生什么，IDM 负责怎么做到。

但只学过成功示范的翻译器见识太窄。为此团队构建了 LIBERO-Long-CF 数据集：恢复示范中的仿真器状态，执行被改动过的动作，比如停止、反向、加噪声、改变夹爪开合时机等，共得到 32000 个片段、约 410 万条控制记录，是原始示范的 29.7 倍，其中 72.3% 的片段改变了物体的摆放状态。很多分支根本完成不了任务，但这正是重点。

在 LIBERO 四个子集上，四种交互程序的成功率都很高，VTA 平均达 98.6%，略高于论文引用的 LingBot-VA（98.5%）和 π0.5（96.9%）等已报告结果。不过 LIBERO 已接近饱和，其成功率差异的参考价值有限，更值得关注的细节是：在 LIBERO-Long 上，未来部分互不可见的 Decoupled（97.0%）与双向交互的 Joint（96.6%）不相上下。

真机上，团队用两台 Franka FR3 机械臂测试了烤面包、还原 2×2 魔方最后一层和按颜色分拣杯子，VTA 和 Joint 平均成功率分别为 92.1% 和 91.9%。

消融实验显示了底座的分量：其他条件不变，用原版 Wan2.2 初始化时 VTA 在 LIBERO-Long 上只有 68.4%，换成机器人视频预训练的因果底座后升至 97.8%，提升 29.4 个百分点。作者强调，这是数据与因果化改造的共同效果，而非单一因素。

最关键的是组件迁移实验。团队把在 LIBERO-Long 上训练的 IDM 冻结，搭配针对四个 LIBERO-90 新任务调整过的视频预测器。结果，示范加反事实数据训练的局部 IDM 平均成功率达 84.0%，而接收完整上下文的 IDM 只有 47.0%，只用示范训练的局部 IDM 更是只有 21.5%。「只看局部」和「见过足够多样的后果」缺一不可。

需要注意的是，目标任务上的视频预测器用含动作标签的示范微调过，这并非零样本迁移，作者对此有明确说明。

FDM 的结论一致。从同一状态出发执行 16 种不同动作，让模型判断预测画面对应哪个真实结果，随机猜测约为 6%，只用示范训练的 FDM 为 21.1%，加入反事实数据后升至 71.3%，模型终于能分清「这样推」和「那样推」的区别。

作者也坦承了局限：组件复用主要在仿真中验证，真机上「故意做错」的成本高得多；FDM 也只覆盖短时程预测。这意味着反事实数据构建方法能否低成本迁移到真实机器人场景，目前尚不确定。

此外，OpenWAM 论文的同行评审状态与独立复现情况在来源中未提及，开源代码与预训练视频模型权重的实际可用性与维护情况也未说明。在 WAM 领域各系统同时更换视频骨干、训练数据、交互方式和推理流程的背景下，单一设计对性能提升的贡献仍难以完全归因——OpenWAM 提供的是一个受控试验台，而不是归因问题的最终答案。