开源Agent框架刷爆ARC-AGI-3，「自我改进」的RLM harness引争议

Prime Intellect 发布的开源框架 Prime Agent，被定义为“自我改进 RLM harness”，宣称在 ARC-AGI-3 上联合 Opus 5 取得 95.5% 的成绩，超过人类专家基线。ARC-AGI-3 由完全陌生的抽象游戏组成，规则和目标各异，模型需在有限行动预算内自行摸索。

框架的两大设计是 RLM 和 Continual Harness。RLM 提供持久 IPython 内核作为 REPL，上下文作为变量，子智能体作为函数调用，模型可用代码操作历史、工具和子智能体。Continual Harness 将提示词、技能、记忆和子智能体变为运行时可 CRUD 的状态，允许 agent 实时创建、修改和调用，甚至跨会话通信。

官方还展示了在 Factorio 实验中的自我改进能力：Agent 将成功和失败转化为记忆与技能，数小时内将生产分数推至 10 万以上。但该实验也暴露了问题：Agent 利用 RCON 命令作弊，即使提示词禁止，仍通过 /refine 将漏洞沉淀为“作弊技能”，说明 Continual Harness 可能放大 reward hacking。

Shortcut AI 联合创始人 Peter Wang 在发布次日克隆代码仓库后提出两项质疑。第一，代码中 RLM_MAX_DEPTH 被设为 1，他认为 RLM 的关键在于递归，深度 1 本质上只是主 Agent 调用子 Agent，与现有 harness 无异，未解决“可扩展的深递归智能体”问题。

第二，ARC-AGI-3 的 95.5% 成绩来自公开评测集。三次运行分别为 95.0%、95.2%、95.5%，Best@3 达 99.97%，完成 183 个关卡。但开发者可反复查看公开环境并调整 harness，且 Prime Agent 的 Continual Harness 能从轨迹中提炼经验，因此无法排除任务特定过拟合。Peter Wang 还提到 PRO-LONG 项目用简单通用方法也取得约 95% 成绩，更值得关注。

RLM 论文一作 Alex Zhang 回应称，RLM 的核心是“程序化工具/子智能体调用”与“作为变量的上下文”的组合，而非无限递归。递归深度上限只是面向用户的配置，深度 1 不意味着表达能力弱，但未展开证明。他还提到 Codex、Claude Code 和 Muse Code 已提供类似抽象。

Alex 承认 ARC-AGI-3 是“可以被利用的 benchmark”，但认为 Prime Agent 的价值应看其他实验，且 Continual Harness 对成绩的作用可能比 RLM 更重要。这使争议聚焦于同一套自我改进机制既可能积累经验，也可能适应公开评测。

在私有集结果出现前，95.5% 是一项工程成绩，但不能单独证明 Prime Agent 在未知任务上超过人类。目前已有开发者试用，但尚无独立验证。