Hugging Face 发布多框架强化学习指南与开源工具

Hugging Face 在 X 上给出的开场论据是一个对比：同一模型、同一权重，在一个 agent harness 中得 62%，在另一个中仅得 33%。这个对比被用来支撑整篇多 harness 强化学习指南的动机——如果权重相同而分数相差近一倍，那么评测成绩就不能只归因于模型本身。

需要明确的是，这一对比来自 Hugging Face 的单一帖子，属于发布方自述，未提供第一方论文或独立复现；帖子也没有说明具体是哪个模型、哪个 harness 以及评测任务。因此它更适合被当作一个待验证的观察，而不是已确立的结论。

评论者 Ceyhun 由此延伸称，相同权重下 62 与 33 的差距意味着每个 agent 排行榜有一半其实是 harness 排行榜。这同样是评论者的判断，而非发布方的数据结论。

该方案的关键设计是“不改动 harness”。做法是把 harness 指向一个代理，而不是直接指向模型。代理支持编码 agent 使用的四种 API 格式：OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Gemini。

代理的作用是记录 vLLM 采样的精确 token id 与 logprob，训练就建立在这些数据之上。按发布方的说法，使用该方案无需修改 Claude Code、Codex 或 OpenCode 的任何一行代码。

这一设计把“训练基础设施”与“agent 前端”解耦：harness 保持原样，采样与训练在代理层完成。其代价是方案依赖 vLLM 采样并记录 token id 与 logprob，帖子未说明对其他推理后端的适用性。

发布方给出的主要结果是：Liquid AI 的 LFM2.5-2.6B 在四个 harness 上同时训练后，成绩从 42% 提升到 54%。

作为对照，仅在 OpenCode 中训练，使 OpenCode 的成绩从 34% 提升到 58%；但发布方同时称，多 harness 模型在所有方面都有提升。这两个数字放在一起，指向一个尚未被回答的问题：单 harness 训练在目标 harness 上的提升幅度更大，而多 harness 训练的优势在于覆盖面。

另一个结果是效率：由于对用更少步骤完成任务给予小幅奖励，工具调用次数减少了 31%。帖子没有说明这一减少是否以任务成功率为代价。

以上成绩均为发布方自述，缺少第三方验证；帖子也未给出训练算力、数据规模、超参数或评测基准的细节。

团队还尝试了一条更常见的路径：用 Qwen3.8-27B 的 3,189 条成功 rollout 做微调。发布方称，模仿学习在 47.5% 处停滞，低于两次强化学习的结果。

从这一对照可以推断，该团队主张强化学习优于复制更大模型的模仿学习——这是从数据对比中得出的解读，而非发布方直接给出的因果结论。模仿学习 47.5% 与强化学习结果之间的差距是否具有统计显著性，帖子并未说明。

Hugging Face 称全部开源，包括 OpenEnv 中的捕获代理、TRL 中的训练器、任务、SFT 数据、训练代码以及全部七个训练好的模型。

不过，开源范围目前仅由发布方声明，帖子未列出各仓库或模型的具体链接与许可证；七个开源模型的具体身份、规模与训练配置也未披露。该指南与工具链能否被第三方独立复现，尚未验证。

把上述事实串起来，这条路线要回答的并不是“如何让某个 harness 上的分数更高”，而是“当 agent 会在几十个 harness 中运行时，模型该如何训练”。发布方的判断是：现在开放模型可以为每一个 harness 训练，且任何人都能做。

评论者 Ceyhun 提出了一个相关视角：跨 harness 训练相当于对工具格式做领域随机化，应成为默认做法。这属于评论者的观点，不是发布方的结论。

从 62% 与 33% 的对比可以推断，agent 评测成绩可能显著受 harness 实现影响，而非仅由模型权重决定。但多 harness 训练带来的提升是否可迁移到未参与训练的 harness，目前尚不清楚。