冻结模型权重，Agent 还能持续进化：ModularRSI 探索 Harness 自我改进

当基础模型权重不再更新，Agent 还能不能持续变强？ModularRSI 给出的回答是把改进对象从模型本身移到模型外围。研究团队把 Agent 写成 A=(M,H)，其中 M 是基础模型、H 是 Harness；模型 M 始终冻结，Harness 则随执行经验不断变化，这构成 Harness Recursive Self-Improvement，也就是 Harness RSI。

这里的 Harness 指的是模型外围的一整套运行机制：模型能看到哪些环境信息、怎样维护上下文、什么时候调用工具、失败后如何恢复、什么情况下可以宣布任务完成。ModularRSI 让 Agent 每完成一批任务就留下执行轨迹，系统从轨迹中寻找反复出现的缺陷，再修改自身运行代码，使下一轮执行建立在上一轮经验之上。

需要区分的是，这一路径并不涉及模型权重更新。基础模型全程冻结，所有改进都发生在 Harness 层。研究团队据此提出，Agent 的迭代式能力提升并不必然伴随模型权重更新，改善智能被组织和调用的方式同样可能带来性能增长。

直接让一个 LLM 阅读完整 Agent 代码库、同时诊断并修改所有逻辑，搜索空间会迅速变大：一次失败可能来自工具调用错误、环境反馈处理不当、上下文丢失、循环逻辑异常，或者任务尚未完成就提前退出。ModularRSI 因此先把 Harness 拆成五个相对独立的模块：Agent Loop 负责“推理-行动-观测”的迭代过程，Observation Management 处理和筛选环境反馈，Tool Use 负责工具选择、调用和参数构造，Context Management 维护历史信息、任务约束和中间结果，Task Completion Detection 判断任务是否真正完成。每个模块从同一个初始 Harness 出发独立演化。

演化不是根据单条失败轨迹立即改代码。对同一个任务，系统会进行多次 rollout，并按结果形成几类比较：如果所有轨迹都成功，就检查其中是否存在重复操作、多余工具调用或低效交互；如果同一任务同时出现成功和失败轨迹，价值更高，因为任务和环境一致而结果不同，可以直接对比两条轨迹，判断哪些决策改变了执行结果；如果所有轨迹都失败，则进一步寻找历史迭代中有没有成功版本，若仍找不到，再分析死循环、错误工具调用、薄弱的错误恢复或提前终止等问题。

这些轨迹随后被整理成结构化 findings：哪个 Harness 函数可能存在问题、证据来自哪里、应该进行怎样的修改。只有当类似缺陷在多个任务和多条轨迹中反复出现，它才会获得更高的修改优先级。换言之，ModularRSI 的目标是把“某一次任务失败”逐渐抽象成“某一种系统性缺陷”。