机器之心
1 个来源牛津大学等团队提出交互式视频世界模型 Oneira
牛津大学、莫纳什大学和布里斯托大学等团队提出交互式视频世界模型 Oneira，通过 Coding Agent 维护的 World State Table 记录场景物体及其状态，将“世界中发生了什么”与“画面如何呈现”分开处理。Oneira 能精确改变指定物体，并在长视频中持续保留改变后的状态，验证了让生成世界真正可交互的可行性。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
把「世界状态」从画面里拆出来：Oneira 想让生成的世界真正可交互
版本 1 · 1 个来源
牛津大学、莫纳什大学与布里斯托大学团队提出交互式视频世界模型 Oneira，用 Coding Agent 维护的 World State Table 单独记录世界状态，使生成的世界可被精确交互，并在长视频中保持改变后的状态。但所有定量提升均为团队自报，缺少第三方复现。
- Oneira 由 Coding Agent、World State Table、Engine 和 Video Generation Model 四部分组成，核心思路是把「世界中发生了什么」与「画面如何呈现」分开处理。
- World State Table 只记录与交互相关的信息：可行走的地面区域，以及每个物体的语义标签、3D BBox 和交互状态；物体外观不写入表中。
- 每段约 10 秒的视频被划分为 8 个 chunk，每段生成后其最后一帧和更新后的 World State Table 作为下一段的起点。
- 团队自建评测集 InteractionBench，含 100 个交互测例和 50 个记忆测例，与 MiniMax-H3 Ref2VA、LingBot-World-V2、YUME 1.5 和 AlayaWorld 对比。
- 团队自报：交互测例三项指标分别比最强基线高 29、19、29 个百分点；记忆测例 PSNR 提升 93%、SSIM 提升 83%、状态保持率提升 18%。
- 上述数字均为团队自报，来源未披露 3D 感知工具型号、训练数据规模、算力成本与推理速度，也未说明 InteractionBench 是否公开。
展开章节目录问题不在生成能力，而在「状态」没有被单独记录
问题不在生成能力，而在「状态」没有被单独记录
视频世界模型已经能随着镜头移动不断生成新场景，但研究团队认为，这类模型在交互上存在两个反复出现的失败：需要改变场景中某个特定物体时，模型常常作用在错误的对象上；即使交互对象正确，镜头移开再返回之后，物体的变化也常常消失。
团队把这一局限归因于现有模型没有单独记录世界的状态——场景中有哪些物体、哪些物体发生过变化，都只存在于生成的画面和上下文中。因此模型难以区分场景中的各个物体实例，只能依靠文本描述推断要交互的对象，而交互结果也只存在于画面里，随着视频推进容易丢失。
作为对照，游戏引擎和传统模拟器虽然能精确记录每个物体的状态，但场景和物体都需要预先构建，无法随着生成的内容扩展。这构成了 Oneira 要同时绕开的两难：既要状态可追踪，又要场景可生成。
Oneira 的解法：四组件分工，状态与外观分离
Oneira 由 Coding Agent、World State Table、Engine 和 Video Generation Model 四部分组成。Coding Agent 理解目标并规划交互，Engine 根据规划更新 World State Table 并将其渲染为条件视频，Video Generation Model 再根据条件视频生成真实画面。
World State Table 只记录与交互相关的信息，包括可行走的地面区域，以及每个物体的语义标签、3D BBox 和交互状态；物体的外观不写入表中，交由 Video Generation Model 生成。这是「状态」与「呈现」分离的关键约束。
Coding Agent 调用现成的 3D 感知模型，从输入图像构建 World State Table。对于镜头移动时新出现的物体，Coding Agent 会在生成的画面上调用 3D 感知工具得到其 3D BBox，再将其加入表中。因此 World State Table 能随生成内容不断扩展，生成画面中新出现的物体也可以直接交互。
一次交互如何被拆解：以「拿起左下角的苹果」为例
对一个物体的交互可能同时改变其他物体的状态。来源给出的例子是目标「拿起左下角的苹果」：Coding Agent 结合 World State Table 和当前画面，确定要拿起的是哪一个苹果以及在哪个 chunk 执行——每段约 10 秒的视频被划分为 8 个 chunk。
它还推断出另外两个苹果会随之滚落，并把这两个苹果和目标一起写入规划。随后 Engine 根据规划的动作更新 World State Table，把这三个苹果都标记为离开原位，其余物体保持不变。
值得注意的是分工边界：每次交互只把结果写入表中，苹果怎样移动、滚到哪里，都交由 Video Generation Model 依据运动先验生成。另外两个苹果静止后，Coding Agent 会从生成的画面中重新登记它们的位置，并把新出现的梨也加入表中。
条件视频与长程记忆：彩色方框如何承载状态
在条件视频中，每个物体以一个彩色方框表示。方框颜色的变化表示物体状态的改变，方框消失则表示物体离开了原来的位置。条件视频中的网格和彩色背景提示相机的运动，3D BBox 指明交互的对象和发生时间，文字描述则说明交互的类型。
长程一致性靠两件事维持：每段视频生成之后，其最后一帧和更新后的 World State Table 作为下一段的起点；当镜头回到之前到过的位置时，模型还会参考当时的画面作为记忆帧。之前改变过的物体状态会一直保留在表中，镜头返回时画面仍保持改变后的状态。
团队还提出一个泛化论点：3D BBox 只用颜色表示状态、与物体类别无关，因此模型也能对训练中未见过的物体类别进行交互。这一说法来自团队自述，来源未给出对应的独立验证。
评测：自建 InteractionBench 与四个基线
研究团队构建了评测集 InteractionBench，包含 100 个交互测例和 50 个记忆测例，并与 MiniMax-H3 Ref2VA、LingBot-World-V2、YUME 1.5 和 AlayaWorld 进行了定性和定量对比。
团队自报的结果是：在交互测例上，Oneira 在交互是否发生、时机是否准确和对象是否正确三项指标上均取得最优，分别比最强的基线高出 29、19 和 29 个百分点；在包含多个相同物体的场景中，基线模型常常作用在错误的物体上或同时改变多个物体，而 Oneira 只改变指定的物体。
在记忆测例上，镜头离开并返回同一位置后，Oneira 的 PSNR 和 SSIM 分别提升 93% 和 83%，状态保持率提升 18%。在 VBench 的视频质量指标上，Oneira 保持在最好或接近最好的水平，但来源未给出具体数值。
这些数字能信到什么程度
需要明确区分事实层级：Oneira 的组成、World State Table 的记录范围、chunk 结构、条件视频的方框表示、InteractionBench 的测例数量与对比基线，属于来源中可直接确认的描述；而 29/19/29 个百分点、PSNR 93%、SSIM 83%、状态保持率 18% 以及 VBench 上的表现，均为团队自报，缺少第三方独立复现。
来源也没有回答几个影响结论外推的问题：3D 感知工具的具体型号与精度未说明，而 World State Table 的准确性直接依赖它；训练数据规模、算力成本与推理速度等工程指标未披露；Oneira 在真实长视频或复杂多物体场景下的失败案例与边界条件未说明；评测集 InteractionBench 是否公开也未说明。
因此更稳妥的判断是：Oneira 验证了「通过 World State Table 单独记录世界状态、让生成的世界可交互」这一技术路线的可行性，但它在开放条件下的稳健性与可复现性，仍待独立验证。
可信度边界
本文全部信息来自单一来源（机器之心对 Oneira 的报道，来源层级为报道类）。其中模型组成、World State Table 记录范围、chunk 结构、条件视频表示、InteractionBench 测例数量与对比基线属于来源中可直接确认的描述；所有定量提升（29/19/29 个百分点、PSNR 93%、SSIM 83%、状态保持率 18%）与 VBench 表现均为研究团队自报，缺少第三方独立复现，来源亦未给出 VBench 的具体数值。来源未披露 3D 感知工具型号与精度、训练数据规模、算力成本、推理速度、失败案例与边界条件，也未说明 InteractionBench 是否公开。
核心结论
Oneira 的价值主张不在于生成质量本身，而在于把「世界状态」从生成画面中拆出来单独维护：状态由 Coding Agent 写入 World State Table，外观交给 Video Generation Model 补全。这条路线在团队自建评测上表现突出，但所有关键数字均为自报，且 3D 感知精度、工程成本与评测集公开性等决定可复现性的信息尚未披露。
主报道
机器之心
主报道来源