清华团队开源 VeriLoop E2：面向可验证推理的后训练模型

自 2026 年夏季以来，前沿大模型在参数规模、上下文长度、测试时计算与工具调用上持续加码。但来源提出的问题更基础：算得更多，并不等于做得更对。一次代码修改可能修复主测试却破坏回归测试；一步数学推导可能减小局部误差却让另一项约束失效；一个物理近似可能改善拟合却违反守恒关系。

清华团队把这一缺口定位得很窄：标准 Transformer 的隐藏状态沿层间残差路径持续更新，recurrent-depth Transformer、Universal Transformer、Mixture-of-Depths 和 looped Transformer 进一步允许共享块重复作用、动态分配深度或增加测试时计算——它们回答的是“计算如何继续、在哪里继续、继续多少步”，却没有回答“新增计算凭什么被视为进展”。

来源明确区分了两类信号：停止信号决定是否继续计算，路由评分决定计算交给哪个模块，深度注意力权重决定读取哪些历史表示，预测分布稳定性反映内部是否趋于收敛。这些内部控制信号可以决定“怎么算”，但不能证明候选状态对应的程序、证明或物理解已在外部任务义务上取得真实进展。

由此，VeriLoop E2 的靶心不是“Transformer 不会推理”这类泛化命题，而是一个可验证的结构性缺口：递归、动态深度或测试时计算产生候选状态后，系统缺少一条与候选生成器分离、能阻止受保护义务回归的状态提交规则。换句话说，“又计算了一步”和“这一步有资格成为下一状态”不是同一个问题。

王立博提出的循证收敛递归（VeriLoop-Governed Recurrence，VGR）机制，核心动作是把“生成候选”和“获得持久化资格”划分为两种不同权限，将外部可验证证据引入状态提交、递归控制和后训练数据构造。

运行时权限被重新划分：每次运行开始先固定任务身份、模型合同、Verifier 身份、Verifier 合同和证据编译器合同；普通前向得到基线潜状态后，立即用固定 decoder 外显为任务制品，再由外部 Verifier 得到初始证据秩。第一轮递归不是从模型自评分数开始，而是从已经接受过外部检查的基线开始。

在第 t 次尝试中，学习提议器只拥有提议权，输出一个有界位移；状态写入权仍留在控制器手中。控制器先检查 shape、dtype、device、finite 以及逐 token 半径，全部通过后才自行构造候选状态。模型本身没有直接覆盖当前保留状态的写权限。候选随后进入一次固定且可重放的 decode，生成 output、witness 和 metadata，并与候选 latent 共同绑定为候选制品。Verifier 只接收 task 和已绑定的 artifact，不接收模型内部评分。

这条权限链可压缩为：普通前向→外部验证→有界候选提议→控制器构造候选状态→固定解码→再次外部验证→受保护证据比较→原子提交/拒绝。来源强调，VGR 不替换 Transformer 的 Attention 或 FFN，只在候选状态进入持久状态链之前增加一层外部证据裁决。

固定解码不可省略，因为如果同一个任务-模型-潜状态键会因 temperature、top-p、随机 Dropout 或缓存漂移得到不同 artifact，连“验证的究竟是哪一个状态”都无法稳定定义。因此 decode 配置、停止条件、并列决策规则及相关模型身份被纳入运行合同；相同 candidate_id 重复验证若得到不同结果，按合同冲突失败关闭，而不是降级为一次普通失败继续运行。