哈尔滨工业大学（深圳）iLearn-Lab 与新加坡国立大学 LV-Lab 提出免训练 2-bit KV Cache 量化框架 QuantWM，用于视频世界模型。研究发现，现有 2-bit 量化方法虽在 VBench 等指标上接近 BF16，但生成视频仍出现明显闪烁、模糊和细节失真，原因是 Key 量化会改变注意力分数排序，使模型关注错误的历史帧或空间位置。QuantWM 通过量化敏感性感知聚类和关键方向补偿来保护注意力查找，在五种模型上改善视频质量，并实现最高 6.20 倍 KV Cache 压缩。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
哈尔滨工业大学（深圳）iLearn-Lab 与新加坡国立大学 LV-Lab 提出免训练 2-bit KV Cache 量化框架 QuantWM。研究指出，在视频世界模型上，即使 VBench 等评测分数与 BF16 几乎持平，量化仍会造成明显的时序闪烁与画质退化；其根源被指向 Key 量化改变了注意力对历史时空位置的选择。
视频世界模型需要连续生成画面，并在用户指定动作的控制下维持场景一致性。对于自回归生成路线，KV Cache 保存着历史画面，使模型在生成时能够检索并重复利用此前生成的相似场景。代价是显存随生成过程不断累积：LingBot-World-v2 生成约 5 秒、93 帧的视频，KV Cache 就需要超过 21 GiB 显存。把 KV Cache 压到 2-bit，因此成为缓解显存压力的重要方向。
现有方法 Quant-VideoGen（QVG）已将 2-bit KV Cache 量化应用于自回归视频生成，并在视频基准上取得接近 BF16 模型的表现。但研究团队发现，当这些方法被用于视频世界模型时，即使评测分数几乎不变，生成画面仍可能出现明显的闪烁、模糊和细节失真。
最直观的证据来自 HY-World 1.5：BF16 与 QVG 的 VBench Temporal flickering 分数分别为 95.62% 与 95.85%，后者甚至略高，但观看生成视频仍可观察到量化引入的严重画面闪烁与视觉退化。这说明，即便是与闪烁直接相关的评测指标，也未能充分捕捉视频世界模型上的量化性能退化。
KV Cache 包含 Key 和 Value。可以把 Key 理解为检索历史信息的“索引”，Value 则是检索后读取的“内容”。研究团队分别量化两者后发现，仅将 Key 压缩到 2-bit 比仅量化 Value 带来更明显的视觉退化；更值得注意的是，相比于 Value，Key 自身的量化误差往往更小，却仍造成了更大的输出误差。这意味着视频质量的差异并不是因为 Key 更难量化，单看量化误差大小无法解释时序闪烁和画质下降。
研究团队把解释指向注意力计算本身。当前 Query 与历史 Key 的匹配分数，决定了模型如何分配对历史信息的关注。量化 Key 引入的误差可能改变这些分数的相对排序，让模型转而关注另一帧、另一个空间位置。对于同一个 Query，量化前后注意力分数最高的历史时空位置发生了变化，有时甚至跨越了不同帧。对连续生成而言，这种偏移可能扰动模型对历史场景的利用，进而影响画面稳定性。
由此得出的判断是：压缩 KV Cache 时，不仅要压缩数据，还要保护模型查找历史信息的方式。这一判断构成了 QuantWM 的设计出发点。需要说明的是，量化 Key 导致的最高分历史时空位置偏移如何具体扰动模型对历史场景的利用，来源中仍被列为尚需进一步分析的问题。
第一个设计是量化敏感性感知聚类（QSAC）。在 QVG 中，每个 Key 被分配给一个聚类中心，中心保留较高精度，两者之间的残差进行 2-bit 量化。研究团队认为，距离最近的中心不一定能得到量化后最合适的结果，残差的动态范围以及误差落在哪些通道上，都会影响最终的注意力分数。QSAC 先用 Query 敏感性加权距离筛选候选中心，再结合各残差组的动态范围及其敏感性，估计 INT2 量化可能引入的注意力扰动，并据此选择中心。
第二个设计是主子空间注意力补偿（PSAC）。即使经过 QSAC，2-bit 量化仍不可避免存在误差；最直接的方案是对注意力 logits 进行误差补偿，但保存全量量化误差非常昂贵。团队观察到历史 Query 的能量往往集中在少数方向上：LingBot-World-v2 的一个层仅用前 8 个主方向，就覆盖了约 71% 的 Query 能量。基于此，PSAC 以低秩形式保存 Key 量化误差在这些主方向上的分量，并在缓存重构时补偿 Key，从而修正后续计算的注意力分数。实验中采用 8 个主方向，并将补偿系数量化为 INT8，以控制额外存储开销。
两项设计均使用已经生成内容的历史 Query 统计，不需要重新训练模型，能够直接接入视频世界模型的生成流程。
团队在 Matrix-Game-2、LingBot-World-v2、HY-World 1.5 三个视频世界模型上验证 QuantWM，并进一步在 LongCat-Video 和 Causal-Forcing 两种视频生成模型上验证其泛化能力。
在 480p、93 帧生成视频对比中，QuantWM 的 PSNR、SSIM 和 LPIPS 均优于 QVG 与 KIVI，可视化内容显示时序闪烁、模糊等现象得到改善。在 VBench 的五个评估维度上，QuantWM 在各模型中均取得所比较量化方法的最佳平均排名。论文还进一步报告了 720p 和 1 分钟长视频的评估结果，分别验证更高分辨率下的生成质量和长视频生成下的视频基准表现，但这些结果的具体数值未在来源中给出。
注意力分析进一步表明 QuantWM 能够减少量化引起的历史时空位置选择偏移：在 Matrix-Game-2 上，最高分历史 token 相对 BF16 的选择变化比例从 53.88% 降至 10.19%；HY-World 1.5 上则从 61.36% 降至 13.92%。
系统实现方面，QuantWM 设计专属 Triton 内核，在考虑聚类中心、量化参数及补偿信息等额外开销后，实际 KV Cache 压缩最高达到 6.20 倍。需要指出的是，上述 PSNR、SSIM、LPIPS 与 VBench 排名等结果均为论文自报，来源未提供第三方独立复现；最高 6.20 倍压缩为计入额外开销后的实测值，不同模型与分辨率下的压缩表现未在来源中逐一说明。
QuantWM 揭示的是视频世界模型低比特 KV Cache 压缩中容易被忽视的问题：即便视频评测分数接近，也不意味着量化后仍能稳定利用历史场景信息。HY-World 1.5 上 95.62% 与 95.85% 的对比，正是这种“分数接近、观感退化”的典型样本。
由此延伸出的方法论含义是，面向视频世界模型的压缩研究，需要结合基准指标、实际视频表现，以及模型对历史信息的利用方式进行多方位评估。这一结论本身来自研究团队的论述，其可推广程度仍取决于后续独立验证。
本文事实与数据均来自机器之心对 QuantWM 论文的报道（来源层级为二手报道）。其中，QuantWM 的提出、KV Cache 显存占用、QVG 的既有表现、VBench 分数反差、Key 与 Value 量化差异、注意力排序偏移、QSAC 与 PSAC 的设计细节、Query 能量集中度、免训练特性以及五种模型的验证范围，均按来源陈述处理；PSNR/SSIM/LPIPS 对比、VBench 最佳平均排名、历史 token 选择变化比例与 6.20 倍压缩等结果属于论文自报，来源未提供第三方独立复现，本文按 source_claim 标注。来源亦未给出 720p 与 1 分钟长视频评估的具体数值，且指出评测指标未能充分捕捉量化退化、Key 量化误差更小却影响更大等现象仍需进一步分析。
QuantWM 的价值不只是一套 2-bit KV Cache 压缩方案，更在于它指出了一条容易被评测分数掩盖的失效路径：量化 Key 会改变注意力对历史时空位置的选择，而这种偏移在 VBench 等指标上几乎不可见。对视频世界模型而言，压缩研究需要同时看分数、看画面，也看模型如何利用历史信息。
主报道
主报道来源