全身条件的第一人称视频预测

世界模型近年来在模拟未来结果方面取得了显著进展，但很少有模型是为真正的具身智能体设计的。具身智能体需要物理上扎根的复杂动作空间，而非抽象控制信号；它们必须在多样化的真实场景中行动，并拥有第一人称视角，而非美学场景和固定相机。

人类动作和视觉高度依赖上下文：相同的视角可能导致不同动作，反之亦然。全身运动涉及 48 多个自由度，具有层次化和时间依赖的动态特性。第一人称视角能反映意图，但隐藏了身体，模型必须从不可见的物理动作中推断后果。此外，视觉反馈往往延迟数秒，要求模型具备长时程预测和时间推理能力。

为了弥合人类动作与第一人称视觉之间的鸿沟，PEVA 将每个动作表示为高维向量，编码全身动态和关节运动。具体而言，动作空间为 48 维，包括根平移的 3 个自由度以及 15 个上肢关节的相对旋转（3 + 15 × 3 = 48）。运动数据通过时间戳与视频对齐，并转换到骨盆中心的局部坐标系，以实现位置和旋转不变性。

PEVA 基于条件扩散 Transformer（CDiT）扩展而来，针对全身动作的高维、时间延展和物理约束特性，引入了三项关键改进：随机时间跳跃（让模型学习短期和长期动态）、序列级训练（对每个帧前缀应用损失）以及动作嵌入（将动作拼接为 1D 张量，用于调节每个 AdaLN 层）。

在测试时，PEVA 以过去上下文帧为条件，通过扩散模型逐步去噪生成未来帧。为了加速推理，注意力被限制在目标帧内，上下文交叉注意力仅应用于最后一帧。对于动作条件预测，采用自回归 rollout 策略：从上下文帧开始，编码后附加当前动作，预测下一帧，然后更新上下文并重复。

PEVA 能够生成原子动作（如手部上下左右移动、身体前进和旋转）的视频，模拟反事实场景，并支持长视频生成。这些能力展示了模型对关节级动作如何影响第一人称视角的理解。