开发 Agent 应用时,选 Harness 常被当成选一个通用最优解。新加坡南洋理工大学安波教授团队发布的报告《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》给出的答案相反:Harness 的好坏不是固定属性,而取决于它与模型、任务之间的具体组合。
实验设计本身就是这个结论的前提。研究选取 OpenHands、DSH(DeepSeek Harness)、PI 和 openJiuwen 四套可自由配置模型的 Harness,分别接入 Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3 和 DeepSeek V4 Pro 五个模型,再放到三个定位不同的任务集上:TUA-Bench 侧重通用终端操作,ALE-CLI 聚焦专业工作流,Terminal-Bench 4 包含难度更高的命令行任务。
4×5×3 构成 60 项结果,加上 Codex-GPT 与 Claude Code-Claude 两组原生搭配在三个任务集上的 6 项结果,最终形成 66 项记录的比较矩阵。由于三个任务集的任务构成和评分标准不同,研究没有把结果合并成一个综合分数,而是分别比较。
计分采用固定任务集分母:TUA-Bench 120 项任务、ALE-CLI 99 项任务、Terminal-Bench 4 共 63 项任务;前两者允许部分得分,Terminal-Bench 4 按通过或未通过计分。因基础设施故障中断的任务重跑,每个任务只按最后一次运行计一次分,未得到有效结果的任务记 0 分。
运行配置被尽量统一:所有 Harness 通过 OpenRouter 调用模型并固定路由到各模型官方服务商,推理强度统一设为 high,上下文管理、重试和轮数上限保持各 Harness 默认设置。TUA-Bench 和 Terminal-Bench 4 使用 Harbor v0.22.0 运行,ALE-CLI 使用任务集自带运行器,且所有 Harness 都接入任务集提供的 14 个计算机操作工具。
需要留意的是比较边界:Codex 与 Claude Code 只接入自家模型,没有参与完整交叉实验,因此原生搭配与可配置 Harness 的比较并不完全对等。结论的适用范围也被限定在这四套 Harness、五个模型和三个任务集之内。