字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入"周期性盲区"

字节跳动Seed团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校的研究人员，对DeepSeek-V4、V4.1展开了系统测试，发现其长文本压缩机制存在周期性技术缺陷。相关论文题为《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》（暂译《周期性弱点：分块KV缓存压缩引发的相位敏感性》）。

线索来自一个反常的代码补全结果：在FP8推理内核代码补全实验中，标准答案为8，模型却频繁输出32；研究人员并未改动核心代码，仅改变前置注释中装饰性等号的数量，答案就在8和32之间周期性翻转，每隔4个Token重复一轮。更换四组填充文本后，64次比较中有60次符合这一周期规律；而未采用分块KV压缩的V3.1-Base没有出现类似的周期性翻转。

Seed团队将这一现象称为“相位敏感性”（Phase Sensitivity），即Token的绝对位置除以压缩步长取模的余数（相位）会影响信息能否被准确检索。

DeepSeek-V4在架构中交替使用两种压缩注意力：CSA采用长度8、步长4的重叠滑动窗口，将KV数据量砍掉四分之三，后续再通过Indexer挑选关键块做稀疏计算；HCA压缩幅度更大，每128个Token合并成一条且无重叠。

在原生Transformer中，RoPE的点积只计算相对距离，因而维持了平移对称性。但CSA每向前走4个Token打一次包，使每个Token多出隐式物理属性“相位”，从而打破了这一对称性。

该缺陷的技术本质是信息在物理层面压根没有写入KV Cache：模型回头检索时，缓存池中不存在这段记忆，只能基于自回归局部统计概率拼凑。这也解释了为何V4各版本相隔4个Token的位置组准确率呈现相似表现，几乎与CSA的压缩步长完全吻合——并非单纯“忘记”信息，而是某些位置的信息在压缩存储到读取过程中更易受损。

在128K长上下文“大海捞针”实验中，DeepSeek-V4-Flash基座模型最差位置组的检索准确率仅29.69%，最好位置组达69.92%，相差40.23个百分点。

后训练带来明显收窄：经过后训练的V4-Flash-0731，最好与最差位置的差距缩小到19.14个百分点；V4-Pro基座和后训练版也分别存在34.77和14.84个百分点的落差。

这一组数据说明，后训练可以缓解但不能消除位置带来的系统性差异。

主流长文本评测（如NIAH或RULER）习惯将目标信息随机散落，均匀采样下强势槽位满分与弱势槽位零蛋互相抵消，从而掩盖了固定位置的性能瘫痪。

Seed团队基于Qwen3-0.6B架构从零训练的对照实验印证了这一点：全注意力平均准确率61.1%，8倍压缩注意力59.4%，仅差1.7个百分点；但全注意力最差位置仍有58.4%，压缩模型最差位置断崖式跌到9.9%，落差暴增至71.1个百分点。

平均分几乎持平，最差表现却相差近50个百分点——这正是“综合平均分”评测的结构性盲区。

DeepSeek早在9月10日发布的V4.1-Flash中已调整大步长压缩机制，而Seed揭示该缺陷的论文直到9月28日才提交至arXiv。来源称，DeepSeek似乎已在此前的迭代中意识到相关隐患并着手改善，但这一判断属于结合公开信息的推断。

V4.1的改进包括将压缩步长从4降到2（CSA2）并引入Engram模块分担注意力计算负担，但固定步长分块压缩的本质未变。

从评测结果看，V4.1-Flash将最好与最差相位的落差从40%大幅收窄到6.1个百分点，但周期性并未消失，而是退化成以2为周期：偶数位置准确率约95%，奇数位置约89%~90%。步长是多少，周期就是多少——步长减半可以缓解阵痛，但只要依然是固定步长的分块压缩，相位敏感性的本质就没有被彻底消除。

上述实验数据均来自论文作者自测，缺乏第三方独立复现验证；来源也未提供DeepSeek官方对缺陷的确认或回应。

DeepSeek是否在V4.1发布前已独立意识到该相位缺陷，还是巧合性改进，来源仅称“结合公开信息判断”，并无定论。相位敏感性在真实用户场景中的实际影响程度尚不明确，来源未提供线上表现数据；该缺陷是否影响DeepSeek-V4系列之外其他采用分块KV压缩的模型，来源亦未涉及。

论文长达65页，正文仅10页，其余52页为附录，核心证据集中在附录中；字节Seed团队主要走闭源技术路线，其测试方法和数据是否完全公开可复现，来源未说明。