港科大、城大、复旦、CMU、NYU、NTU 联合发布首篇自回归视频生成 Memory 综述

过去一年，视频生成正走向 long-horizon generation、streaming generation 和 interactive world model。生成得越长，一个基础问题越难绕开：模型到底该如何“记住”过去？角色离开画面后再次出现还是不是同一个人，镜头绕一圈回到原场景空间布局还能否保持，一个物体被移动后几十个 generation steps 之后会不会又回到原位——这些问题的共同点在于，答案依赖的信息早已不在当前窗口里。

来自香港科技大学、香港城市大学、复旦大学、CMU、NYU、NTU 等机构的研究者联合完成并发布了 110 页综述《The Past Frames the Future: Memory for Autoregressive Video Generation》，试图把分散在 long video generation、streaming generation、interactive world model 等方向的相关研究，放进统一的 Memory 框架下重新理解。论文链接为 https://arxiv.org/pdf/2609.28466，配套 GitHub 仓库为 https://github.com/HaroldChen19/Awesome-AR-Video-Memory。

需要先说明证据边界：本文所依据的是一篇微信转载报道，综述的分类框架与结论均为作者自述，报道未说明该综述是否经过同行评审，也未给出其发表 venue，因此下文涉及框架与判断的部分均按 source_claim 处理。

自回归视频生成不断依据已有历史生成下一个 token、frame 或 video chunk。问题在于历史越来越长，而模型能直接访问的 context 始终有限：受 context window、显存、KV-cache storage 和 latency 限制，实际系统通常只能保留一个有限的 local context。随着 rollout 向前推进，早期的角色身份、场景布局、运动状态和交互结果会逐渐离开当前窗口。

由此，综述把 Memory 定义为一种跨 AR steps 持续维护的历史状态：即使原始证据已经离开当前 local context，它仍然可以影响未来生成。这一定义的关键落点在于，Memory 并不简单等同于 Longer Context，真正的问题在于历史信息如何被持续保留、管理和重新利用。

这里存在一个容易被忽略的推论（inference）：如果“记忆”的判据是“离开当前 context 后仍能影响生成”，那么仅靠扩大 context window 并不能自动满足该判据——它只是推迟了信息离开窗口的时间点，而综述本身并未给出扩大窗口与 Memory 机制之间的定量对比。