返回信息流
新闻事件
The AI Insider
1 个来源

港大团队开发物理AI统一基准RoboDojo

香港大学领导的研究团队开发了RoboDojo基准,用于统一评估物理AI在模拟和真实机器人任务中的表现,发现当前最强模型与人类表现仍有较大差距。该平台整合了30个机器人策略、42个模拟任务和18个真实任务,旨在提供标准化、可复现的比较方法。

SynthePulse Insight · AI 深度解读

RoboDojo:香港大学推出统一基准,揭示物理AI与人类表现的巨大鸿沟

版本 1 · 1 个来源

香港大学主导开发的RoboDojo基准,首次在统一框架下评估物理AI的模拟与真实世界表现,结果显示最强模型成功率不足13%,而人类专家在真实任务中达到100%。

  • RoboDojo由香港大学多媒体实验室联合近20所大学开发,包括UC Berkeley和清华大学。
  • 平台包含30个机器人策略、42个模拟任务和18个真实世界任务。
  • 最强AI模型在模拟任务中成功率为8.8%,真实世界测试为12.8%。
  • 人类专家在模拟任务中成功率为76.03%,真实世界任务为100%。
  • RoboDojo开源资源在Hugging Face下载超10万次,X平台首周浏览量超10万。
展开章节目录统一基准的诞生:为何需要RoboDojo

统一基准的诞生:为何需要RoboDojo

在机器人学习领域,不同系统常使用不同的硬件、模拟环境和评分方法,导致模型间难以直接比较,也无法判断结果能否迁移到真实世界。香港大学多媒体实验室联合近20所大学的研究人员,包括UC Berkeley和清华大学,开发了RoboDojo基准,旨在提供一种可复现的方式,在虚拟和物理环境中比较机器人学习方法。

RoboDojo项目由香港大学计算与数据科学学院AI研究和技术转移副总监Ping Luo与博士生Tianxing Chen共同发起。Luo表示,RoboDojo是首个由香港主导的统一模拟和标准化真实机器人评估的基准,旨在将具身AI从令人印象深刻的演示推向可测量、可比较和可信的进步。

RoboDojo的构成与测试能力

RoboDojo将模拟测试、标准化物理机器人测试和机器人控制策略评估整合在单一框架中。平台包含30个代表性机器人策略、42个模拟任务和18个真实世界任务。

测试覆盖物理AI的多项关键能力,包括泛化到新情境、记忆信息、执行精确动作,以及完成需要多步骤和长时间跨度的任务。

性能差距:AI与人类的显著鸿沟

早期结果显示,当前AI系统与人类表现之间存在巨大差距。根据香港大学的数据,表现最好的AI模型在模拟任务中成功率为8.8%,在真实世界机器人测试中为12.8%。相比之下,人类专家在模拟任务中成功率为76.03%,在物理任务中达到100%。

这些结果凸显了一个问题:一个在精心挑选条件下能完成任务的系统,在环境、物体或动作序列变化时可能表现不佳。标准化基准通过提供共同的任务和测量方法,有助于识别这些弱点。

社区反响与开源资源

RoboDojo已向更广泛的机器人社区开放。据香港大学称,其开源资源自发布以来在Hugging Face上被下载超过10万次,项目相关帖子在X平台首周浏览量超过10万。

可信度边界

本文信息主要来源于The AI Insider的报道,其内容基于香港大学的官方声明。所有具体数据(如成功率、任务数量)均来自该报道,未经过独立验证。

核心结论

RoboDojo提供了一个统一、可复现的基准,首次让物理AI的模拟与真实世界表现可比较,但当前AI与人类之间的巨大差距表明,物理AI仍处于早期阶段,标准化评估是推动进步的关键。

主报道

The AI Insider

主报道来源