World Labs推出模拟引擎,将一项真实机器人任务转化为数千种训练变体
由AI先驱李飞飞创立的World Labs推出了一款模拟引擎,可在虚拟环境中训练机器人控制器。该系统从一项真实任务生成数千种受控变体,训练后的模型在五种不同机器人平台上各运行一小时,无需人工干预。其在复杂日常场景中的表现仍有待观察。
由AI先驱李飞飞创立的World Labs推出了一款模拟引擎,可在虚拟环境中训练机器人控制器。该系统从一项真实任务生成数千种受控变体,训练后的模型在五种不同机器人平台上各运行一小时,无需人工干预。其在复杂日常场景中的表现仍有待观察。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
World Labs 推出 Real-to-Sim-to-Real (R2S2R) 引擎,将真实世界的机器人任务转化为数千种可控的模拟变体,用于训练和评估控制模型,并声称模型在模拟中训练后可在真实硬件上稳定运行数小时。
World Labs 认为,机器人部署的主要瓶颈不是模型架构,而是机器人可靠运行所需的经验量。真实世界数据昂贵且难以控制,在线视频也无法系统覆盖所有物体、物理条件和失败状态。
基于此,World Labs 推出了 R2S2R 引擎,旨在通过模拟生成大量可控变体,以解决数据稀缺问题。
R2S2R 引擎捕获机器人、传感器、环境和任务演示,并将其重建为交互式虚拟世界,不仅外观相似,物理行为也一致。它结合了生成式世界模型和任务导向的机器人模拟。
从单个真实任务中,系统通过改变光照、物体位置和数量、周围环境、摩擦等物理属性以及相机角度,生成数千种变体。为了验证准确性,World Labs 在模拟和现实中并行运行相同的动作序列,并比较观察结果、物体运动和结果。
该技术源自 World Labs 于 7 月收购的 SceniX 公司。
本报道主要基于 World Labs 的声明,属于来源声称,而非独立验证。具体数字(如五个平台、一小时运行、2000 次模拟和 100 次真实运行)均来自 World Labs 的表述,未经第三方证实。
主报道
主报道来源