MirroS发布AgentGarten：代码造世界，扩散绘现实，智能体边玩边进化

要让 AI 理解物理世界，仅靠观看海量视频并不够——就像学游泳不能只看录像。智能体需要亲自下场：采取行动、观察结果、再决定下一步。这要求一个具备物理因果确定性的环境：推开的箱子必须留在原地，封堵的通道必须不能通行，后续动作被这些物理变化持续约束。

MirroS 团队发布的 AgentGarten 正是针对这一需求。它把可执行的代码环境与实时神经渲染器连接起来：代码定义物理规则，模型生成视觉反馈，以超过 30 fps 的吞吐让智能体持续与世界交互，并以 480p 分辨率稳定支撑闭环。

AgentGarten 的核心设计是让两条技术路径各司其职。一次标准交互闭环这样运转：智能体给出动作指令；代码环境立即计算物理碰撞与状态更新，并从第一人称相机视角导出一份轻量的几何草图（空间深度或表面法线）；神经渲染器读取这份草图，结合此前的视觉记忆，渲染出拟真的下一帧画面递给智能体。

这种分工带来两点直接结果。其一，物理规则确定可控：场景布局、接触判定与胜负均由代码裁决，不产生幻觉物理。其二，搭建新世界变得极快：只要能输出简单的三维深度和法线轮廓，任何极简代码场景都能套用这套神经渲染器，获得写实光影与材质。虚拟环境的扩充成本，从美术劳动密集型转向代码程序化扩展型。

一个经典参照是 OpenAI 2019 年的捉迷藏实验：躲藏者和搜寻者在放有挡板和坡道的场地里对抗，经过大规模自我博弈，相继学会搭建掩体和借坡道翻墙。据来源，掩体搭建约经历 2500 万局，借坡道翻墙约经历 1 亿局。

MirroS 团队在 AgentGarten 中重做了这个实验，采用一对一设定：躲藏者先布置场景封堵入口，随后搜寻者进场搜寻。智能体通过写 Python 代码控制移动与抓取，仅凭第一人称画面决策，对空间坐标和对手位置一无所知。双方从完全空白的手册起步，各自维护由单篇技能组成的策略库；每轮对战十局，战罢复盘沉淀，下一轮随机抽选部分技能库应用。

结果是：躲藏者在第 4 轮学会搬动挡板搭建掩体，搜寻者在第 10 轮掌握借坡道翻墙。一次跳跃失败后，搜寻者还会主动推近坡道、调整位置，再次尝试。

推动策略演化的，是智能体自己写下的实验手册。演练被划分为四个递进环节：领受任务、盲盒试错、撰写手册、封存传代。领受任务时拿到任务文件，明确目标与规则红线，但没有标准答案；盲盒试错在严格的步数与时间限制下自主行动，只有相机画面，没有上帝坐标、没有小地图，未到终局也看不到得分。

一轮结束后，智能体自我复盘，记录自己试了什么、看到什么现象、哪些判断存疑、下次该验证什么新假设。手册归档冻结，直接作为先验遗产交给下一轮智能体。经受住考验的经验被后继者沿用，失效的教训则促使它们尝试新的策略分支。

因为代码世界本质上是可编程的软件环境，同一套探索-复盘-沉淀循环可以复刻到更多场景。团队在另外四个截然不同的世界中各运行了四轮演练。

陪伴小狗：智能体需在 60 秒内通过抚摸和适时玩球维持小狗好感度，得分从首轮 13 分提高到第 4 轮 19 分。狭桥会车：两车依据驾驶第一视角协商互让，双车通关总耗时从 71 秒压缩至 41 秒。合作牧羊：两只牧羊犬仅凭自身视线配合把四只羊赶进羊圈并维持 5 秒，从第 1 轮超时仅圈进三只，到后三轮稳定实现全部圈进。采石场装载机：第 1 轮仅勉强推开石块，到第 4 轮已能在 360 秒时限内提前 31 秒跑通全流程。

这些跨度极大的任务说明同一件事：这套经验沉淀闭环，换到截然不同的世界里同样跑得通。

要让智能体边看边行动，神经渲染器必须攻克三座大山：跟得上突发动作、稳得住超长交互、跑得足够快。团队从基础全模态模型出发，提出 Adversarial Forcing 训练方法，并配合推理优化打通视觉通道。

第一，从整段离线生成改为流式逐块渲染：智能体做一个动作，模型立即产出对应的短块画面，看清结果再做下一步决策。第二，长程交互不漂移：连续生成越久，微小误差越容易累积成外观漂移；团队设计精确重放机制——第一遍无梯度前向展开，第二遍按完全一致的逐块节奏带梯度重新执行，以稳住长序列交互的时序一致性。第三，引入真实视频判别器构建对抗信号，以真实物理画质为锚点约束画面质感，并让生成结果贴合代码给出的几何轮廓。