删掉99.95%训练信号，效果反而更好！极端稀疏监督刷新大模型后训练逻辑

大模型做一道数学题往往要生成数千个token的推理过程。按通常直觉，要提升推理能力，就得在这条轨迹的大量token上施加训练信号，通过密集更新让模型逐渐变强。这项研究的起点正是对这个前提发问：如果把这些训练信号一个一个删掉，会发生什么？

研究聚焦的场景是在线策略蒸馏（OPD）。它与传统知识蒸馏的关键区别在于，推理轨迹由学生模型自己生成，再由教师模型对学生实际走过的每一步提供反馈。标准OPD会在整条轨迹上逐个比较教师与学生对当前token的概率：教师认为该token应更可能出现就提高其概率，反之则降低。一条轨迹因此可以产生数千个训练信号，这种密集的token级信号通常被视为OPD的重要优势。

研究团队先做了一个极端实验：对学生模型生成的每一条推理轨迹，只随机选择一个token参与损失函数计算和反向传播。模型仍然完整生成一道题的推理过程，但真正产生训练信号的只有其中一个随机位置。若一条回答有2000个token，真正参与训练的比例只有约0.05%，也就是删掉了约99.95%的训练信号。

按通常直觉，如此稀疏的信号应让训练基本失效。但结果相反：随机监督一个token仍能稳定提升学生模型的数学推理能力。而且这不是某个特殊teacher或student上的偶发现象——研究团队在Qwen3系列上构造了9组不同的teacher-student配置，覆盖更大参数量教师到更小参数量学生、同规模、以及更小参数量教师到更大参数量学生，在这些设置中都能一致观察到推理能力提升。

随机一个token已经反直觉，但接下来的结果更出人意料。在OPD中可以衡量教师与学生每个token上的分歧程度：有些token上教师比学生更认可当前生成结果，另一些token上教师明显认为学生不该这样生成。研究团队于是尝试只保留这些最“极端”的token，例如每条轨迹只选教师最希望学生增加概率的一个token，或教师最希望学生降低概率的一个token。

结果显示，仅监督这样的1-2个token，在很多实验中就已可匹配甚至超过标准的全token OPD。换句话说，标准OPD可能训练几千个token，而极端稀疏的OPD只训练一个token，后者却不一定更差。在一个代表性的Qwen3实验中，选择单个极端token得到的学生模型不仅超过了标准OPD的学生，甚至超过了提供监督的教师模型本身。这说明这里发生的事情可能并不像“把teacher完整复制给student”那么简单。

OPD的数学目标本质上是缩小教师与学生之间的分布差异。一个很自然的解释是：稀疏OPD之所以有效，也许只是因为少量token已足以让student更接近teacher。但实验并不完全支持这个解释。

研究团队发现，一些推理性能最好的稀疏OPD模型，reverse KL并没有变得更小，甚至可能变得更大。也就是说，student的推理能力提高了，但它并不一定在整体分布上更加像teacher。由此可以推断（此为基于上述事实的推断），稀疏OPD带来的推理性能提升并不只是来自单纯的模仿。

对于为什么一个token的监督可能有用，目前尚没有一个完整的理论解释。研究给出的直觉是：一个token的监督并不等于模型只学习了一个token，它更像是在一个特定context下，对整个模型参数施加了一次方向明确的推动。如果这种推动足够准确，即可通过少量关键更新，推动模型进入一个更好的参数区域。

需要说明的是，这一直觉来自研究团队的解释性表述，属于来源主张而非已被验证的机制结论。它同时提示了一个更普遍的问题：人们可能高估了大模型后训练真正需要的token-level优化数量——这同样是基于现有证据的推断，而非已被证实的定论。

为回答“这是否只是OPD的特殊现象”，研究团队把实验扩展到其他环境。结果显示，类似的极端稀疏监督现象并不仅存在于最初的Qwen3加数学推理加OPD这一组合中，还可扩展到coding reasoning、Llama系列模型，以及基于PPO的RLVR。

特别值得注意的是PPO实验：即使密集token训练无法明显提升推理性能，极端稀疏的token更新仍可能产生有效提升。这意味着该现象可能并不只是OPD的一个特殊性质，而指向一个更普遍的问题：后训练是否真的需要如此密集的token级优化。

消融实验观察到一个明显的非单调关系：当逐渐减少参与训练的token时，性能可能先下降；但当监督信号极端稀疏到只剩少数token时，性能反而重新上升，并可能超过稠密信号带来的提升。这说明推理性能提升与监督信号密度之间，并不是简单的“越多越好”。

但必须划清边界。这项工作并不是在说明大量token没有用，也不是在声称未来训练大模型只需要一个token。真正值得注意的是信号密度与性能之间的非单调关系，以及由此引出的问题：一条trajectory里到底有多少token真正在驱动学习。

若数千token的推理轨迹中只有极少数更新就足以推动模型变强，这可能启发更token-efficient、memory-efficient的训练方法——这是基于现有结果的推断，而非已验证的工程结论。此外，该结论来自亚马逊与杜克大学团队投稿量子位的报道，未提供第三方独立复现；核心实验环境为Qwen3加数学推理加OPD，其他环境为扩展验证；报道未披露具体基准分数、模型规模与训练算力细节，也未给出同行评审状态。极端稀疏监督为何有效、reverse KL未变小甚至变大与推理提升之间的关系、该现象在更大规模模型与真实生产训练中的可迁移性，以及单个极端token选择策略的稳定性与可复现性，都仍是未解问题。