面向更长视野的基于梯度的世界模型规划

随着世界模型规模的扩大，它们开始像通用模拟器，但拥有强大的预测模型并不等于能有效用于控制或规划。在实践中，使用现代世界模型进行长时程规划仍然脆弱：优化变得病态，非贪心结构造成不良局部最小值，高维潜在空间引入细微的失败模式。

第一个痛点是长时程展开创建了深层且病态的计算图。通过时间反向传播（BPTT）时，对早期动作的导数涉及雅可比矩阵的乘积，其条件数随时间的指数增长，导致梯度爆炸或消失。

第二个痛点是损失景观非贪心且充满陷阱。在短时程中，贪心解通常足够好，但长时程任务需要非贪心行为，如绕墙、重新定位、后退以选择更好的路径。优化空间的维度随视界增长，进一步扩大了局部最小值的空间。

GRASP 的核心思想是将动力学约束视为软约束，优化一个惩罚函数，该函数同时作用于动作和状态。这种配点法在规划/机器人文献中已有先例。

提升后的公式与原始展开目标共享相同的全局最小值（当轨迹动态可行时两者都为零），但优化景观截然不同。它带来了两个直接好处：每个世界模型评估仅依赖局部变量，因此所有 T 项可以在时间上并行计算，大幅加速长时程规划；同时，不再需要通过单个深层 T 步组合进行反向传播，因为雅可比矩阵的乘积现在分解为和，例如对 a0 的导数变为 2(F_theta(s0,a0)-s1)。

直接优化状态也有助于探索，因为可以暂时穿越非物理域来找到最优计划。配点法允许直接扰动状态并更有效地探索中间点。

GRASP 通过三个关键机制实现稳健的长时程规划：第一，将轨迹提升到虚拟状态，使优化在时间上并行；第二，直接在状态迭代中添加随机性以促进探索；第三，重塑梯度，使动作获得清晰的信号，同时避免通过高维视觉模型的脆弱的状态-输入梯度。

这些机制共同解决了长时程规划中的病态优化、非贪心局部最小值和高维潜在空间的失败模式。