弗吉尼亚理工大学、威斯康星大学麦迪逊分校和达特茅斯学院的研究团队在 NeurIPS 2026 论文中提出 SAGE，通过符号闭包分析（SCA）解释长推理中的探索偏差与累积偏差，并将诊断转化为训练时的结构引导。在 12 个基准、7 个模型家族的评测中，SAGE 总体优于所比较的后训练方法；在 Andrews-Curtis 实例上，Qwen3 的 Lean 验证通过率接近基础模型的 8 倍。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
弗吉尼亚理工大学、威斯康星大学麦迪逊分校和达特茅斯学院团队在 NeurIPS 2026 论文中提出 SAGE，用符号闭包分析解释长程推理中的探索偏差与累积偏差，并把这一诊断转化为训练时的结构引导。在 12 个基准、7 个模型家族上，SAGE 总体优于所比较的后训练方法；在 AC 实例上，Qwen3 的 Lean 验证通过率接近基础模型的 8 倍。但单项并非全胜，且所有结果均为作者自报。
大模型解短题常能给出流畅答案，推理链一长，却可能每一步都看似合理、终点仍然失效。依靠最终答案给奖励的后训练已显著提升数学推理能力，但长任务里的奖励往往稀少而滞后：一条解题路径可能经过几十甚至上百次变换，训练过程却只知道结尾成败，难以判断从哪一步开始偏离。
论文用 Andrews-Curtis（AC）任务作为压力测试。给定一个由生成元与关系式构成的群表示，模型要依次执行允许的 AC 变换，尝试到达平凡表示。每一步是否合法可以检查，但合法操作不等于已经找到通向目标的路径；真正的成功信号要到整条序列结束才能确认。实验求解的是 1,190 个按论文设置构造的 AC 实例，这一任务把“局部合法、全局难成”的矛盾放大。
SAGE 用符号闭包分析（SCA）解释长推理中的探索偏差与累积偏差，再把这一诊断变成训练时的结构引导。SCA 先给“还能继续走”的路径下定义：从起点出发，只要每一步都符合任务规定的局部操作，就属于局部可行域 F，它具有前缀封闭性质——一旦某一步不合法，后面的延续也不能把这条前缀变回合法路径。但可行只是局部条件，F 中也可能有走不到答案的路线，真正成功的轨迹集合更小，而且训练时并不知道。
第一重困难是探索偏差。论文给出的几何直觉是：深度 T 的可行前缀占比大致受到各层可行分支数与总分支数之比的连乘制约。若许多层都只有少量分支可行，这一比例会随深度迅速缩小；终点奖励有限时，随机采到有用轨迹就更难。论文进一步把策略梯度的波动拆成三部分：可行域内的方差、不可行域内的方差，以及两类轨迹平均信号不同造成的方差。如果采样真正集中到 F，后两项会消失。这一分解解释了为什么“把预算花在哪些分支上”会影响学习信号的质量；它并不意味着局部合法就能保证解出题目。
第二重困难是累积偏差。仅在终点给奖励时，早期决策缺少直接纠偏。论文考虑带 KL 正则的优化：若参考策略找到成功轨迹的概率为 p、终点奖励上界为 Rmax、KL 惩罚强度为 λ，则最优策略与参考策略的总变差距离有上界。当成功轨迹极罕见、奖励相对于 KL 约束又不强时，这个上界很小；训练难以大幅摆脱参考模型原有的早期选择，微小偏离因而可能沿长链延续。
SCA 因此给出两个明确的设计目标：一是把采样概率集中到更有希望的局部可行分支；二是让前缀在到达终点前就得到与目标结构有关的反馈。AC 这样的符号任务能精确定义局部合法性；自然语言任务则需要估计残差和目标锚点，理论保证不能原样搬过去。
本文所有事实、数字与结论均来自机器之心对 NeurIPS 2026 论文《SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance》的报道。论文由弗吉尼亚理工大学、威斯康星大学麦迪逊分校和达特茅斯学院团队完成，作者为 Xinyue Zeng、Jiawei Zhang、Yujun Yan、Dawei Zhou。需要说明的是，报道中的评测结果均为作者自报，来源中未见第三方独立复现或验证；涉及具体百分比与倍数（如闭式数学平均值、AC 变换有效率提升幅度、Qwen3 上 Lean 验证通过率接近 8 倍等）均属来源转述的论文数据，本文按来源口径呈现，未做独立核实。
主报道
主报道来源