开源模型靠Harness逼近Opus 5：Prime Intellect多智能体研究突破

Prime Intellect设计了一场nanoGPT优化器速通实验，让18个前沿模型（包括Fable 5、Opus 5、GPT-5.6 Sol、Kimi K3等）在8张H200上自主完成优化任务。每个Agent获得代码仓库、规则手册和目标指令，但不知道具体改进方向，需自行探索。

任务目标是用尽可能少的训练步数将1.24亿参数GPT的验证集loss降至3.28以下，baseline设为3290步，人类最好纪录为2600步。实验全程断网并锁进sandbox，防止模型直接抄袭现成答案。

最终153次全自主实验，单次最长超8天，但没有任何实验提出真正全新的方法。有效技巧如normalization、学习率调整、权重平均等均可在已有研究中找到类似思路。

然而，模型间的差距并非来自idea，而是试错吞吐量。强模型不会轻易放弃一个idea，会换seed、重新消融，甚至等recipe变化后重测旧方案。例如Opus 5重新调β2刷出新纪录，Fable 5重新探测旧方案省下31个steps。

强模型更擅长处理噪声，能判断小提升是真实改进还是随机波动，甚至发现GPU非确定性导致同一seed重复跑loss变化，并围绕此现象重做实验流程。

Kimi K3在Prime Agent Harness辅助下，跑出2930步，超过GPT-5.6 Sol的3042步，仅比Opus 5的2920步差10步。这显示开源模型搭配Harness可以逼近甚至超越部分顶级闭源模型。

Harness为Kimi K3提供持久运行的IPython内核，使其能主动推翻自己的假设，提高效率。这被视为RSI中科研基础设施重要性的例证。

实验表明，idea本身可能并不稀缺，真正影响成绩的是能否多试几个方向、更快排除错误、抓住微弱信号并叠加。科研能力越来越像试错吞吐量问题。

Prime Intellect因此将重点转向Multi-Agent Harness：让便宜开源模型负责监控和实现，强模型只做关键判断，从而以更低成本跑更多实验。这暗示AI科研能力的提升不一定依赖更强模型，改进“试错机器”同样有效。

这一结果动摇了“最强闭源模型率先跨过AI开发AI临界点，然后赢家通吃”的经典RSI剧本。开源模型+Harness的系统也能达到接近第一梯队的水平。

Prime Intellect计划将Speedrun扩展到训练栈更多环节，并放大实验规模。这指向一种可能：AI开发AI的加速未必来自单一模型的智力爆炸，而可能来自越来越便宜、越来越快的AI科研机器。