返回信息流
新闻事件
机器之心
1 个来源

南洋理工大学安波团队发布 Agent Harness 选择研究报告

新加坡南洋理工大学安波教授团队发布报告《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》,系统比较了 OpenHands、DSH、PI 和 openJiuwen 四套可配置 Harness 与多个模型的组合表现。实验在 TUA-Bench、ALE-CLI 和 Terminal-Bench 4 三个任务集上形成 66 项比较记录,结论指出 Harness 的好坏取决于其与模型、任务的具体组合,而非固定属性。

SynthePulse Insight · AI 深度解读会员精读

换一套 Harness,模型排名就翻转:南洋理工 66 项实验说明了什么

版本 1 · 1 个来源

同一模型接入不同 Harness,表现可能方向相反地变化;原生搭配不必然最优;成本高 4.3 倍反而得分更低。南洋理工大学安波教授团队用 4×5×3 的交叉实验说明:Harness 没有固定排名,选型的正确单位是模型、Harness 与任务构成的完整配置。

  • 研究覆盖 OpenHands、DSH、PI、openJiuwen 四套可配置 Harness,交叉接入 Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3、DeepSeek V4 Pro 五个模型,在 TUA-Bench、ALE-CLI、Terminal-Bench 4 三个任务集上共形成 66 项记录。
  • Terminal-Bench 4 上出现排名反转:Claude Opus 5 经 OpenHands 完成 36 项、领先 GPT-6 Astra 的 31 项 7.94 分;换成 PI 后 Claude 只完成 19 项、GPT 完成 38 项,GPT 反超 30.16 分。
  • 五个模型中有四个的最高分 Harness 随任务集变化,Kimi K3 是唯一例外,它与 openJiuwen 的组合在三个任务集上均领先其他已评测配置 5.61、6.91 和 11.11 分。
展开章节目录一份不做排行榜的报告

一份不做排行榜的报告

开发 Agent 应用时,选 Harness 常被当成选一个通用最优解。新加坡南洋理工大学安波教授团队发布的报告《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》给出的答案相反:Harness 的好坏不是固定属性,而取决于它与模型、任务之间的具体组合。

实验设计本身就是这个结论的前提。研究选取 OpenHands、DSH(DeepSeek Harness)、PI 和 openJiuwen 四套可自由配置模型的 Harness,分别接入 Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3 和 DeepSeek V4 Pro 五个模型,再放到三个定位不同的任务集上:TUA-Bench 侧重通用终端操作,ALE-CLI 聚焦专业工作流,Terminal-Bench 4 包含难度更高的命令行任务。

4×5×3 构成 60 项结果,加上 Codex-GPT 与 Claude Code-Claude 两组原生搭配在三个任务集上的 6 项结果,最终形成 66 项记录的比较矩阵。由于三个任务集的任务构成和评分标准不同,研究没有把结果合并成一个综合分数,而是分别比较。

计分采用固定任务集分母:TUA-Bench 120 项任务、ALE-CLI 99 项任务、Terminal-Bench 4 共 63 项任务;前两者允许部分得分,Terminal-Bench 4 按通过或未通过计分。因基础设施故障中断的任务重跑,每个任务只按最后一次运行计一次分,未得到有效结果的任务记 0 分。

运行配置被尽量统一:所有 Harness 通过 OpenRouter 调用模型并固定路由到各模型官方服务商,推理强度统一设为 high,上下文管理、重试和轮数上限保持各 Harness 默认设置。TUA-Bench 和 Terminal-Bench 4 使用 Harbor v0.22.0 运行,ALE-CLI 使用任务集自带运行器,且所有 Harness 都接入任务集提供的 14 个计算机操作工具。

需要留意的是比较边界:Codex 与 Claude Code 只接入自家模型,没有参与完整交叉实验,因此原生搭配与可配置 Harness 的比较并不完全对等。结论的适用范围也被限定在这四套 Harness、五个模型和三个任务集之内。

限时免费

继续阅读完整分析

还有 5 节深入分析和完整结论

加载中

可信度边界

本文全部事实来自机器之心对南洋理工大学安波教授团队报告《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》的报道,属二手转述,未引入报告之外的第三方验证。报告本身为 arXiv 预印本,实验覆盖四套可配置 Harness、五个模型和三个任务集,Codex 与 Claude Code 仅接入自家模型、未参与完整交叉实验,原生搭配与可配置 Harness 的比较并不完全对等。报告中的最佳配置是事后比较得出的,自动路由策略尚无验证;Kimi K3 与 openJiuwen 的稳定适配仅给出三个可能原因,未做因果确证。

主报道

机器之心

主报道来源