V-RAE：重新思考视频生成模型的潜空间，用视觉表征直接驱动生成

V-RAE 的核心思想源于图像领域的 Representation Autoencoder（RAE）：不再从像素重建目标中学习潜空间，而是直接利用预训练视觉模型已学到的高层表征作为生成模型的潜空间。V-RAE 将这一思路扩展到视频，系统研究了 DINOv3、SigLIP2、EUPE 和 V-JEPA 2.1 四种不同预训练范式的视觉表征。

视频面临独特挑战：逐帧编码导致 token 数量随长度增长，简单时间压缩又会丢失动作信息。V-RAE 引入轻量级 temporal attention pooling 模块，实现 4× 时间压缩，同时保留语义与动态信息，再通过带 3D RoPE 的时空 Transformer 解码器重建视频。

实验证实该范式在视频上成立：在 Kinetics-600 上，V-RAE 重建 rFVD 达 2.13，优于所评测的大规模预训练视频 VAE 中的最佳结果 3.58；UCF101 上重建性能与最强 VAE baseline 接近。语义探测中，V-RAE 在 UCF101 达 90.92% 准确率，而传统 VAE 最高仅 30.83%；Something-Something V2 上达 72.91%。

关键问题在于：这些语义是否让生成更容易？固定生成骨干、token 数量与训练设置后，四种 V-RAE 表征在 UCF101 和 Kinetics-600 上均带来更好的下游生成性能，最佳 gFVD 分别为 117.86 和 19.16。

训练效率提升显著：UCF101 上 V-RAE 约 3 万次更新即可达到传统 VAE 约 15 万次更新的生成水平；K600 上最高观察到约 6 倍收敛加速。这表明表征潜空间改变了生成器需要解决的问题——从重新发现物体、动作与场景结构，转向直接学习视觉状态如何随时间变化。

实验发现，不同 autoencoder 的重建质量（rFVD）与最终生成质量之间相关性较弱：UCF101 上相关系数仅 0.200，K600 上 0.473。原因在于重建只测试解码器还原真实编码器输出的能力，而生成时预测的潜表示总会偏离真实轨迹，若潜空间不平滑，微小偏差会被放大为鬼影、闪烁等问题。

为此，V-RAE 提出 tFVD 指标：在时间相邻的潜变量间局部插值，构造轻微偏离真实轨迹的潜表示，观察解码器能否还原为自然连续的视频。tFVD 与生成质量的相关系数在 UCF101 和 K600 上分别达 0.621 和 0.919，显著高于传统重建指标，说明潜空间的时间平滑性与对生成误差的鲁棒性至关重要。

V-RAE 进一步验证了表征潜空间在未来视频预测中的优势。在 Cityscapes 上，采用完全相同的预测架构和训练预算，V-RAE 将 gFID 从传统 VAE 的 15.02 降至 11.52，gFVD 从 144.47 降至 111.36。

值得注意的是，V-RAE 的重建 rFVD 实际上更差，但未来预测却明显更好。这再次印证：对预测/生成建模而言，好的重建并非最终目的，更有语义、更平滑、更易预测的潜状态空间才是理解动态世界的合适接口。

V-RAE 的意义不仅在于将图像 RAE 扩展到视频，更在于暴露了潜空间设计中易被忽视的问题：视频表征需处理时间冗余；语义表征压缩后仍保留丰富结构；更有结构的潜空间带来更好生成质量和最高约 6 倍收敛加速；重建质量不能充分预测生成质量；时间平滑性和预测鲁棒性对视频生成关键；表征潜空间优势可迁移至未来预测。

这些结果指向一个根本问题：如何评价和设计真正面向生成的潜空间？过去 autoencoder 被视为压缩与重建模块，但从生成角度看，它定义了学习问题的“坐标系”。一个好的视频潜空间，不仅应准确重建过去，更应让未来易于生成和预测。