机器之心
1 个来源LIBERO-MAX 基准发布：用 22.4 万次仿真检验机器人动态可靠性
斯坦福、CMU、MIT、UIUC 和 UT Austin 等机构的研究者提出 LIBERO-MAX，将机器人执行过程中的环境变化转化为可重复、可比较的测试基准。该基准构建了 8,000 组配对案例和 8 类中途变化，评测 14 种机器人策略，累计 22.4 万次仿真。结果显示所有受测策略成功率下降 11.0-25.7 个百分点，表明当前机器人策略在动态环境下的可靠性仍有明显不足。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
当杯子在机械臂伸出时被挪走：LIBERO-MAX 用 22.4 万次仿真追问机器人策略的动态可靠性
版本 1 · 1 个来源
机器人评测长期在任务开始前就改变条件，但真实世界的变化往往发生在动作执行到一半。来自 Stanford、CMU、MIT、UIUC 和 UT Austin 等机构的研究者提出 LIBERO-MAX，用配对实验把「中途变化」变成可重复、可比较的测试，并发现所有受测策略在动态条件下成功率都下降。
- LIBERO-MAX 针对的是机器人在行动过程中环境发生改变、而任务仍需继续完成的问题。
- 它构建了 8,000 组配对案例、8 类执行中途变化，评测 14 种机器人策略，主评测累计 22.4 万次仿真。
- 所有受测策略成功率都下降，降幅为 11.0-25.7 个百分点；动态条件下表现最好的 MolmoAct2 和 π₀.₅ 成功率也分别只有 66.9% 和 65.7%。
- 配对设计让研究者能区分「原本就做不好」与「中途变化导致失败」，而不只是看变化后还剩多少成功。
- 八类变化的难度并不相同：目标或容器移动、相机和传感器变化造成更明显的共同困难，光照和视觉主题变化通常影响较小。
- 更频繁地获取反馈并未自动消除动态条件与 Base 之间的成功率差距；针对特定变化的补偿措施能挽回一部分失败，但可推广性尚不明确。
展开章节目录一个被挪走的杯子，暴露了评测的盲区
一个被挪走的杯子，暴露了评测的盲区
设想机器人正把桌上的杯子收进托盘，机械臂已经朝杯子伸出，这时旁边的人顺手把杯子挪开了几厘米。对人来说，调整一下手的位置就好；对机器人来说，它之前看到的是旧位置，已经生成的动作也指向旧位置。如果继续执行，手就可能伸向一块空桌面。
这个小插曲指向机器人走进真实生活时必须面对的问题：环境会在机器人行动过程中改变，而任务还需要继续完成。来自 Stanford、CMU、MIT、UIUC 和 UT Austin 等机构的研究者提出了 LIBERO-MAX，将执行过程中的环境变化变成可重复、可比较的测试。
已有很多鲁棒性评测会在任务开始前改变条件，例如换一个杯子位置、调整光照或改变视角，机器人从第一眼起看到的就是调整后的场景。但「杯子一开始就在另一边」和「手伸到一半，杯子才被挪走」，对机器人提出了不同要求：后一种情况下，机器人已经根据旧画面采取行动，还可能有一串尚未执行的动作，需要在已有的执行过程上继续应对新情况。
配对实验：把「中途变化」变成可归因的变量
如果机器人最终失败了，怎么判断是杯子被挪走造成的，还是它本来就抓不好？LIBERO-MAX 为同一个任务安排两次执行，两次共享初始状态、指令、模型随机种子，以及变化发生前的全部动作。到了同一个关键时刻，再让它们经历不同的后续：Base 不额外加入中途变化，机器人继续执行；Dynamic 加入一次环境变化，例如移动目标物体，机器人继续尝试完成任务。
如果机器人在 Base 中成功、在 Dynamic 中失败，就能识别出这次变化破坏了一个原本能够完成的任务。即使两次都失败，也会保留在结果中，帮助区分原有能力不足和中途变化带来的影响。
这套设计以 LIBERO-Plus 和 LIBERO-PRO 的任务为基础，构建了 8,000 组配对案例、8 类执行中途的变化：目标移动、容器移动、相机视角改变、传感器噪声、光照切换、视觉主题变化、干扰物增加和障碍物插入。八类事件覆盖物体位置、视觉观测、外观与杂物，以及路径约束。
22.4 万次仿真：所有受测策略都退步了
研究团队评测了 14 种当前机器人策略，涵盖 VLA、混合架构和世界动作模型（WAM），均使用各自发布的推理配置。每个策略完成 16,000 次执行，主评测累计 22.4 万次仿真。
结果显示，所有受测策略的成功率都下降了，降幅为 11.0-25.7 个百分点。即使是动态条件下表现最好的 MolmoAct2 和 π₀.₅，成功率也分别只有 66.9% 和 65.7%，丢失了不少原本能够完成的任务。对于其中一个受测策略，超过一半的原有成功案例在变化后转为失败。
配对评测因此提供了两种信息：变化后还能完成多少任务，以及哪些原本能够完成的任务被变化打断。不同类型模型的排名也相互交错，没有一个模型家族始终占优。当前受测的世界动作模型同样需要面对执行中途的变化，世界预测能力能否转化为可靠行动，还需要通过实际任务检验。
哪些变化最难：物体移动与视角改变
八类变化带来的损失并不相同。目标或容器移动，以及相机和传感器变化，造成了更明显的共同困难；光照和视觉主题变化通常影响较小。
这与抓杯子的故事形成直观联系：杯子换了位置，原来的伸手目标需要调整；托盘移动了，放置位置需要更新；摄像头视角改变了，机器人又要从新的画面中理解自己与物体的关系。
这种拆解让研究者能够进一步定位问题：应该改进视觉识别、目标更新，还是动作规划？模型改进之后，也可以用同一类事件检查效果。
让机器人多看几次，并不能自动解决问题
一个自然的想法是：环境可能变化，那就让机器人更频繁地看画面、重新生成动作。机器人策略常常一次预测一串动作，再执行若干步后获取新观测，这样可以减少模型调用，但变化发生时，依据旧画面生成的动作可能仍在执行。
研究团队在同一组 800 个配对案例上，测试了 4 个策略、18 种有效的动作执行间隔。调整间隔确实会改变表现，但所有测试设置下，变化后的成功率仍低于对应的 Base。更频繁的反馈，并未自动消除这道差距。
相机对照实验还发现，同样的视角变化，在第一帧就出现与执行到一半才出现，结果也不同。三个被测策略在中途变化条件下，都比从起点就使用改变后的视角更容易成功。这说明，评测还需要关注机器人已经走到了哪里、此前执行过哪些动作；面对同样的新画面，不同的执行历史也会影响后续结果。
补偿措施能追回多少成功率
LIBERO-MAX 还可以用来检验针对性的改进。研究团队选取 300 个固定的传感器噪声案例，在 X-VLA 前加入图像质量检测模块：发现当前图像质量较差时，先修复、去噪，再交给策略处理。策略无需重新训练，检测模块也不会提前收到「变化已经发生」的通知。
按质量触发修复后，变化后的成功率从 40.7% 升至 47.7%，提高 7.0 个百分点，Base 成功率基本保持。始终修复也带来了 6.7 个百分点的提升。
这个小规模实验表明，针对特定变化采取补偿措施，能够挽回一部分失败。配对评测则可以同时检查：它改善了多少受扰动任务，以及是否影响原本能够完成的任务。不过，这一效果是否可推广到其他变化类型，尚不明确。
把「世界变了，还能做完吗」变成常规考题
LIBERO-MAX 提供评测代码、固定案例清单和配对诊断，还提供包含 800 组案例的 Lite 版本，将执行数量降到完整版本的十分之一，方便研究者先做快速验证，再开展完整评测。
机器人进入家庭、办公室或工厂后，环境变化会伴随任务执行不断发生。LIBERO-MAX 希望为变化检测、动作调整、重新规划和自主恢复提供可复现的测试平台，让模型改进能够接受同一套动态环境考验。
回到开头那个被挪走的杯子：可靠的机器人，需要在情况改变之后，仍然把它收进托盘。
可信度边界
本文依据机器之心对 LIBERO-MAX 工作的报道整理。该工作已入选 NeurIPS'26 Robotics World Modeling Workshop 口头报告（Oral），论文标题为 LIBERO-MAX: Do Robot Policies Adapt When the World Changes?，Yunbei Zhang 与 Zijian Jin 为共同第一作者，合作作者包括 UT Austin 教授 Peter Stone、Stanford 教授 Marco Pavone、MIT 博士后 Weirui Ye 和 NTU 助理教授 Jianfei Yang。评测基于 LIBERO-Plus 和 LIBERO-PRO 的任务构建，属于仿真环境下的标准化测试；所有受测策略均使用各自发布的推理配置，未做统一重训练。来源未提供第三方独立复现结果，也未说明 14 种策略的完整名单及各自的具体配置细节。
核心结论
LIBERO-MAX 的价值不在于给出一个新的排行榜，而在于把「执行中途环境变化」变成可归因的变量：通过配对实验，它既能测量变化后还剩多少成功，也能指出哪些原本能完成的任务被变化打断。所有受测策略成功率下降 11.0-25.7 个百分点，说明动态可靠性仍是当前机器人策略的共同短板；而更频繁的反馈并未自动弥合差距，针对特定变化的补偿措施虽能挽回一部分失败，其可推广性仍有待检验。
主报道
机器之心
主报道来源