Token用量减少74.9%：Real2Gym把仿真经验变成真机可复用技能

多模态模型已经能调用建模工具生成细致的三维场景，但机器人操作对几何误差尤其敏感：杯口稍窄、物体偏移，或容器内部被碰撞模型封住，都可能让画面中合理的动作在物理执行时失败。Real2Gym的出发点正是这个落差——重建得像还不够，场景必须能真正被操作。

为此，Real2Gym把“动作能否在物理引擎中完成”作为场景验收的一部分。系统既要保留视频中的物体、布局和视角，也要让机器人真正完成抓取、放置和接触。这一验收标准贯穿了从视频到环境的整个构建流程。

第一步是用几何线索约束场景。对多视角视频，Real2Gym利用Pi3X提供的几何线索，结合SAM2分割关联不同视角中的物体，约束它们的尺度和位置，再构建可编辑的Blender场景及对应的MuJoCo环境。单视角输入则采用相应的几何初始化方案。

第二步是围绕交互纠错。系统关注交互发生变化的时刻：物体何时被抓起、何时接触支撑面、夹爪何时释放。围绕这些关键帧，Agent自我检查视角、布局、接触和外观，并结合相邻画面局部修正。以倒杯为例，即使桌面和物体已经对齐，杯沿附近的尺寸误差仍可能导致穿模；关键帧检查能把修正集中到真正影响操作的区域，避免只凭一张整体渲染图判断重建质量。

修正后的动作会在MuJoCo中执行，检查任务完成情况以及支撑、接触和稳定性。执行轨迹随后导回Blender，与原视频对照，核查视觉对应和物理可行性。通过验证的场景还可以改变物体位置、桌高、材质、背景、光照或干扰物；会影响运动空间的变化需要适配动作并重新验证，从而为Agent提供更多可练习的任务环境。

有了练习场，Agent还需要高效地完成探索。Real2Gym将每轮决策的目标从生成单个动作，提升为生成执行一个操作阶段的代码。例如，一轮响应可以安排接近杯子、闭合夹爪、抬起并检查是否抓稳，把多个动作和验证条件组织在一起，减少反复请求模型的次数。

在把任务意图落实为可执行动作时，SAM3提供物体定位线索，GraspNet提供抓取候选。执行后，Agent根据反馈整理成功步骤、失败原因和恢复方法，形成可复用的skills。经验描述的是相对物体如何行动、何时检查、失败后怎样修正；再次使用时，要根据当前观察重新定位和调整。

这里的自我改进通过更新技能库实现，底层模型权重保持不变。每次新任务从独立上下文开始，接收选定的技能，因此可以检验经验本身的作用，而不是把改进归因于模型权重的变化。

团队选取DROID和EgoDex的24个场景进行评估，覆盖机器人示范和人类操作视频。在重建评估中，Real2Gym在内容对齐、视角对齐、动作保真度和仿真成功评分上均优于所比较的GPT基线；定性对比显示，它更好地保留了柜体结构、物体相对尺寸与位置，以及原始相机视角。

在这些环境中的Agent评估里，复用首轮经验后的第二次执行，平均成功率达到87.5%，GPT-6 Astra Direct Mode基线为70.8%；策略执行的Token用量减少约74.9%，平均模型响应次数从约31次降至约14次。论文还展示了叠碗任务中Real2Gym成功、两个GPT基线失败的案例，以及经验复用后更直接的柜体操作与适配器放置过程。

需要说明的是，上述开销统计针对策略执行，不包括场景构建和单独的技能提取。这些数字均来自团队自述，来源未说明统计口径与重复次数，也缺少第三方独立验证。

在Franka机械臂上，团队测试了方块入盘、挂杯、杯子放入微波炉并关门，以及盘子上架四项任务。前三项各3次尝试中，Real2Gym均成功；GPT-6 Astra基线分别成功1次、3次和1次。

盘子上架则让两种方法都遇到了困难：抓取深度、盘沿朝向和狭窄空间中的放置精度必须同时满足要求。初始执行中，两种方法都未成功。团队随后录制人类示范，重建可交互的数字孪生。Agent在仿真中的前两次尝试失败，第三次迭代获得可用技能，再结合真机实时观察执行，完成了原本失败的任务。

这个案例展示了从真实示范出发、经仿真探索改进技能、再回到真实世界验证的完整过程。但它也提示，该任务的成功依赖人工录制示范与多轮迭代，并非一次自动完成。

目前，点云噪声仍会影响重建，阶段级控制在精细操作中也有改进空间；真机验证限于Franka和平行夹爪。向灵巧手和人形机器人扩展，还需要进一步实验。

论文与代码虽已公开，但来源未提供可复现性验证或社区复现结果；从仿真积累的技能能否泛化到未测试的机器人形态与任务，也尚不明确。此外，来源为量子位对论文的转述，未提供论文原文中基线配置与实验细节，因此重建评分优于GPT基线、87.5%成功率与74.9%Token降幅等结论，目前只能视为团队自报的source_claim，而非经独立确认的事实。