罗格斯大学、得克萨斯大学奥斯汀分校和普渡大学的研究团队提出 AgentForesight，一个 7B 模型，用于多智能体系统的在线审计，在任务运行中持续监控并提前识别关键错误。在 AFTraj-2K 测试集上，其对失败轨迹的关键错误步骤识别 Exact-F1 达到 66.44，比最强通用模型基线高 19.88 分，对成功轨迹误报率仅 2.37%。该工作将事后归因前移为在线审计，为多智能体系统的早期失败预测和干预提供了新方法。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
罗格斯大学、得克萨斯大学奥斯汀分校与普渡大学的研究团队提出 AgentForesight，让一个 7B 模型在多智能体任务运行中逐步审计，在关键错误被下游沿用前报警。论文自报 Exact-F1 66.44、成功轨迹误报率 2.37%，但报警之后能挽救多少失败，仍是未验证的问题。
多智能体的失误未必表现为当场报错。更麻烦的情形是：一个 Agent 给出错误前提，其他 Agent 却继续认真执行。后面的 Agent 未必做错了自己的子任务，它们只是把前面那一步的错误，当成了继续工作的前提。
论文中的一条地点问答轨迹展示了这种风险：系统需寻找 Rivington Hall Barn 附近的一座旧工业城镇，案例标注答案为 Bolton，搜索 Agent 却返回 Horwich，Manager 随后沿用该结果并提交错误答案。后续 Agent 重复一个答案，并不会让它变成更可靠的证据。
AgentForesight 的出发点正在于此：在局部错误已经出现、却尚未一路传成任务失败时，尽早发出预警。它把事后归因前移为在线审计——每完成一步，外部审计员读取截至此刻的执行记录，决定继续还是报警，为后续干预争取时间。
过去许多多智能体失败分析采用事后归因：先读完一条已知失败的轨迹，再判断责任 Agent 和关键错误步骤。后续错误如何扩散、最终答案为什么不对，都能成为定位线索。
在线审计没有这些后见之明。AgentForesight 只能看到当前轨迹前缀，也就是截至此刻已经发生的记录；未来的动作、尚未返回的工具结果和最终成败，都不在它的视野内。
难点因此不只是找出一个错误，而是区分：系统尚在合理探索，还是已经出现影响任务成败的决定性错误？前者不应被无端打断，后者则应在被下游 Agent 继续沿用前尽早识别。报警也不能只说一句有问题，审计员还要指出错误发生在哪一步、由哪个 Agent 引入，并给出简短理由。
把事后归因搬到线上，训练数据也得改变。只有失败轨迹，模型学不到何时应该继续任务；只有整条任务的成败标签，又无法告诉它究竟从哪一步开始出了问题。
为此，团队构建了 AFTraj-2K，覆盖代码生成、数学推理以及涉及工具与检索的 Agentic 任务，包含 2,272 条标注轨迹：1,158 条经过验证的成功轨迹、1,114 条失败轨迹。
但最终答对并不等于过程每一步都可靠。中途出错后被其他 Agent 纠正的轨迹，不能不加区分地当作可用成功样本。团队因此同时检查最终结果、工具调用的完整有效性，以及每一步与当前子目标的一致性，筛出可用于前缀监督的成功轨迹。
失败数据来自两条路径：一条在验证过的成功轨迹上注入错误，检查修改是否生效、任务是否确实失败；另一条从自然失败中提出候选位置，再经多次独立验证，检查错误是否真实存在、是否实质影响任务、是否具有决定性，以及是否为最早的决定性错误。这里要找的不是最显眼的异常，而是能改变任务结局的关键一步。
有了步骤标签，为什么还要分阶段训练？因为通用模型面临两道相互关联的门槛：先分清当前记录是否已经越过失败边界，再在出错的记录里定位具体步骤和责任 Agent。直接要求它一次学会全部能力，精确归因的奖励信号又过于稀疏，训练就可能退化成一律回答安全。
第一阶段用边界对偏好优化（BPPO）学习失败边界。团队从同一条失败轨迹中取出两个相邻前缀：一个停在决定性错误前，应当继续；另一个只多出刚刚出错的那一步，应当报警。任务背景与此前执行历史保持不变，判断却必须随关键一步翻转，训练信号因此聚焦于导致风险变化的内容。
第二阶段以第一阶段模型为起点，围绕审计结论的三个维度给出奖励。步骤奖励不是只有全对或全错：预测位置越接近标注，奖励越高，为逐步找准错误提供平滑信号；误报与漏报都会受到惩罚，避免模型靠一律报警或一律放行取巧。
训练还将第一阶段模型作为 KL 约束的参照，限制第二阶段偏离已经学到的风险判断。两个阶段并非简单串联：后者要在保留失败边界敏感性的同时，把这里不对劲细化为这一步、这个 Agent 出了问题。
团队在 AFTraj-2K 的 332 条留出测试轨迹上评估审计能力。AgentForesight 与表中通用模型都逐步读取前缀，并以首次报警中的判断计分。Exact-F1 同时考察关键错误的检出与精确定位，ASS 则衡量报告的错误位置平均偏离标注多少步。
论文自报 AgentForesight-7B 的 Exact-F1 达到 66.44，比该指标上最强的通用基线 DeepSeek-V4-Pro 高 19.88 分；相比其基础模型 Qwen2.5-7B-Instruct 的 21.05，提升也十分明显。ASS 则从 DeepSeek-V4-Pro 的 1.77 降至 0.59，约为三分之一。这里衡量的是已检出失败轨迹上的归因位置偏差，而不是从出错到报警的等待时长。
分域来看，数学、代码与 Agentic 任务的 Exact-F1 分别为 77.36、78.87 和 48.70；Exact-F1 和 ASS 在三个域上都领先主表中的对照方法。在未参与训练的外部 Who&When 基准上，AgentForesight-7B 的关键步骤与责任 Agent 识别准确率分别为 57.69% 和 73.08%，ASS 为 1.62，均为论文所列对比模型中的最佳结果。
在线审计的另一半考验藏在成功轨迹里：它不是等任务结束后判断一次成功，而是要在每一个尚未完成的时刻，都不误把合理过程叫停。AgentForesight-7B 的成功轨迹误报率 FAR 为 2.37%，失败轨迹上的 Step Accuracy 为 59.51%；DeepSeek-V4-Pro 对应为 43.20% 和 53.99%。
2.37% 是按整条轨迹计算的：169 条测试集成功轨迹中，只有 4 条在逐步审计时触发过误报。一条轨迹只要在任意前缀上报警一次，就计为误报，而不是用大量正常步骤把错误平均掉。因此这组结果不只是更少报警，而是低误报与较好的关键错误识别同时出现。
消融实验给出直接对照：基础模型的总体 Exact-F1 为 21.05，只用第一阶段 BPPO 训练为 35.63，只用第二阶段训练为 50.42，完整方案训练则达到 66.44。
更能说明问题的是 Agentic 任务：只用第二阶段，Exact-F1 为 19.05，低于只用第一阶段的 31.58；两个阶段结合后，才提升到 48.70。这与两阶段的分工相呼应——数学和代码中的关键错误相对容易定位，定位奖励已能带来较好表现；而在检索、工具调用与多角色交互中，是否已经构成决定性错误更难判断，先建立失败边界的辨认能力就尤其重要。
这也解释了为什么不能只盯着 ASS：模型只在少数有把握的案例中报警，也可能得到很小的位置偏差。定位准不准，还要和漏掉了多少错误一起看。
AgentForesight 探索的是一种独立分工：执行 Agent 负责推进任务，外部审计员专门判断过程是否已经出现关键偏差。它不要求重新训练底层执行系统，执行能力与审计能力可以分别优化；审计结论可作为暂停、重新规划、切换执行路径或转交人工检查的依据。
但论文的实验重点仍是在线识别与归因。报警后采取什么动作、能挽救多少失败，以及是否提高最终任务成功率，需要与具体干预机制结合验证。
审计员本身也会出错：论文观察到，本可由验证 Agent 自行纠正的过程仍可能触发误报，已检出的错误也可能存在定位偏差。逐步审计会增加调用开销，在更长的工作流、具身和开放式科研任务中的表现，也有待进一步评估。
此外，AFTraj-2K 与 Who&When 上的指标均为论文自报结果，缺少第三方独立复现；Exact-F1 与 ASS 等指标依赖论文自身的标注口径，不同标注标准下结果的可比性未知。
本文所有事实、数字与结论均来自机器之心对论文《AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems》的报道。该报道为二手转述，文中 Exact-F1、ASS、FAR、Step Accuracy 及 Who&When 结果均为论文自报，缺少第三方独立复现；指标依赖论文自身的标注口径，不同标注标准下可比性未知。涉及推断的内容已在正文中标注。
AgentForesight 的价值主张不是更强的执行模型，而是把审计变成一项可独立训练的能力：在只能看到轨迹前缀的条件下，7B 模型被训练成对失败边界敏感、并能指出哪一步、哪个 Agent 引入关键错误。论文自报的低误报与较好识别说明这条路可行，但报警之后能否真正挽救任务，仍取决于尚未验证的干预机制。
主报道
主报道来源