「自验证」框架让开源模型反超 Fable 5，冲上 GitHub 热榜

斯坦福团队的最新实验显示，使用 DeepSeek V4 Flash 作为生成模型，配合 LLM-as-a-Verifier 框架进行自验证，在 Terminal-Bench 2.1 上任务成功率从 79% 提升至 88%，超越了 Claude Fable 5，同时整体成本低约 11 倍。这里的成本包含生成 5 个候选轨迹和验证筛选的全部费用，且已按 DeepSeek 涨价后的价格计算。

这一结果的关键在于，开源模型能以极低成本生成多个高质量候选方案，再利用自身进行验证和筛选，从而以更多廉价推理计算换取更高能力。延迟方面，候选方案可并行生成，整体延迟大致相当于最长一次 rollout 加少数几轮验证，不会随候选数量线性增长。

LLM-as-a-Verifier 是一个通用验证框架，无需额外训练，即可为不同模态输出提供细粒度反馈。与传统 LLM-as-a-Judge 只输出单一离散分数不同，它利用评分 Token 的完整 logit 概率分布，显式刻画评价不确定性，并沿评分粒度、重复评估、评价标准拆分三个维度扩展。

传统 Judge 在候选复杂且质量接近时难以区分，例如在 Terminal-Bench V2 上平局率高达 27%。而 LLM-as-a-Verifier 在 query-optimize 任务中，利用评分分布和 1-20 的评分粒度，在 100 次比较中正确选出 77 次更好的轨迹，且无平局。

团队发现，评分粒度、重复评估和评价标准拆分能带来互补的性能增益，应联合扩展，类似 Kaplan 等人的 Scaling Laws。作为轨迹级 Reward Model，LLM-as-a-Verifier 在多个 benchmark 上取得领先：Terminal-Bench V2 (86.5%)、SWE-Bench Verified (78.2%)、RoboRewardBench (87.4%)、MedAgentBench (73.3%)，表明同一框架可跨领域使用。

此外，它还可作为强化学习的稠密奖励信号，提升 SAC 和 GRPO 的样本效率；并能实时追踪 Agent 是否朝正确方向推进，在机器人任务中生成平滑、时间对齐的奖励信号，区分多种失败模式。

为降低验证成本，团队提出高效候选选择算法，利用 preference probability 与少量 pivot candidates 比较，将选择复杂度从 O(N²) 降至 O(Nk)。项目已开源 Python API，可 pip install llm-verifier。

实验结果发布后，LLM-as-a-Verifier 冲上 GitHub Trending 热榜 #2，并在 X 上引发讨论。开源社区已在 DGX Spark 等本地硬件上部署 GLM、DeepSeek 等模型并复现类似结果，这可能成为本地 AI 的重要发展路线。