谷歌研究人员找到防止自我改进AI代理记忆测试的方法

现代 AI 智能体把固定的语言模型包裹在所谓 harness 中，即由提示、工作流、工具、记忆和逻辑组成的框架，决定模型每一步看到什么。论文称，近期智能体领域的许多进展来自对 harness 的改进，而非来自新模型。

研究者把让语言模型根据测试任务反馈反复重写 harness 的做法称为一种实用形式的递归自我改进。但论文指出，由于智能体反复处理同一组有限的测试任务，它会记忆这些任务，训练任务得分上升而新任务上的收益缩小甚至消失。

研究者称记忆化通过多种方式发生：搜索记住只适配某一基准的模式、偏好纯靠运气得高分的候选方案，以及堆叠无谓复杂度以提高测试分数。

RRSI 在系统提出新改动时用预算限制单个候选可捆绑的独立编辑数量，且该预算随时间收缩，早期允许较大改写、后期只允许可清晰追溯到结果的小改动。

RRSI 会记录此前的尝试以避免重复追逐同样的失败思路，并在进展停滞时有意尝试 harness 中尚未触及的部分。

在挑选改动时，一个评审器会审查每个提案，剔除任何硬编码任务名称、答案或其他基准特定技巧的方案。另一条规则是只有带来可测量性能提升时才接受更高的计算成本，不再有用的组件会被移除。

研究者在涵盖编程、智能体办公工作和工程设计的八个基准上测试 RRSI，底层模型 Claude Opus 4.8 全程保持冻结，并与未修改的基线 harness 及四种近期优化方法比较。

据论文所述，RRSI 在训练任务上最多提升 14.1 分，在五个从未见过的基准上最多提升 4.7 分，运行时比未正则化版本少用约 30% 的 token。

在所有未见基准上，RRSI 的整体表现从未低于基线，而这通常是记忆了任务的 harness 会出现的情况。

所有方法在训练任务上都表现良好，但在新任务上结果反转，有两种方法甚至低于基线 harness；RRSI 的训练增益是所有变体中最小的，也是唯一在未见任务上明显高于基线的方法。

这一取舍正是 RRSI 的约束机制所追求的：用训练任务上的部分增益，换取新任务上的稳定泛化。

用 Gemini 3.5 Flash 优化的编程 harness 在未经任何修改的情况下，把弱得多的 Gemini 3.1 Flash Lite 的准确率从 11.2 分提升到 14.6 分。

论文作者表示代码已在 GitHub 上公开。作者同时指出，研究仅覆盖围绕冻结模型构建的 harness，不涉及模型权重变化的情况。