机器之心
1 个来源人大高瓴等机构提出 ROMA：让机器人主动交互探索物体
人大高瓴 GeWu-Lab、智源研究院、燧行 AresoX 等机构提出 ROMA，旨在让多传感器机器人主动交互探索物体并补全物理理解。该工作包含近 2000 个真实物体的多感官交互数据集 ROMI-2K、2100 个场景级主动感知任务的 ROMA Bench，以及整合视听触力四模态的 ROMA-7B 推理模型和真实机械臂交互系统。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
ROMA 想让机器人学会“主动摸一摸”：一套 7B 模型、2000 个物体与 2100 道题的证据链
版本 1 · 1 个来源
人大高瓴 GeWu-Lab、智源研究院、燧行 AresoX 等机构提出 ROMA，把视听触力四种模态接进机械臂，并配套发布 ROMI-2K 数据集、ROMA Bench 与 ROMA-7B 模型。它真正要回答的问题不是“机器人能不能看懂物体”，而是“当信息不够时，机器人知不知道该去摇一摇、掂一掂”。
- ROMA 全称 Real-World Object-Centric Multi-Sensory Active Perception，由人大高瓴 GeWu-Lab、智源研究院、燧行 AresoX 等机构研究者提出。
- ROMI-2K 覆盖近 2000 个日常物体与内含物组合，围绕举起、按压、碰撞、捏紧、摇晃、旋转 6 种基础物理交互采集数据。
- 每次交互同步采集视觉、听觉、触觉、力四种模态，并标注材质、硬度、粗糙度、纹理、内容物等物理属性。
- ROMA Bench 在 ROMI-2K 真实桌面子集上构建，包含 2100 个场景级主动感知任务，分 Single-Chain、Multi-Chain、Intent-Driven 三类。
- ROMA-7B 基于 Qwen 2.5-Omni 训练，作者报告其在 ROMA Bench 上总体任务成功率为 72.9%，真实世界 132 道开放问答题上为 61.4%。
- 上述对比与成功率数字均来自论文作者，来源未提供第三方独立复现，也未展开评测协议细节。
展开章节目录问题不在“看见”，而在“知道还缺什么”
问题不在“看见”，而在“知道还缺什么”
人类判断一个盒子有多重，往往不是盯着看，而是拿起来掂一掂；想知道里面有没有东西，会摇一摇；想确认软硬，会捏一捏。ROMA 想把这套动作交给多传感器机器人：当现有观测不足以完成任务时，机器人需要自己判断缺什么信息、该和哪个物体交互、用什么方式交互、关注哪种模态，以及什么时候可以停下来。
这正是 ROMA 试图切入的具身研究问题。它把视听触力四种模态的感知整合进 ROMA-7B 模型，让机器人形成“推理—交互—反馈—再推理”的闭环，而不是被动接受一次性的感官输入。需要说明的是，这一闭环目前被限定在视觉、听觉、触觉和力四种模态之内，来源并未给出其他模态的证据。
ROMI-2K：把“摸一摸”变成可训练的数据
要让机器人学会主动探索，前提是它得知道不同交互会带来什么信息。为此研究团队构建了 ROMI-2K，覆盖近 2000 个日常物体与内含物组合，围绕举起、按压、碰撞、捏紧、摇晃和旋转 6 种基础物理交互采集数据，采集场景覆盖手持设备和真实桌面机械臂两种。
每次与物体的交互都同步采集视觉、听觉、触觉和力四种模态的观测信息，同时对物体材质、硬度、粗糙度、纹理、内容物等物理属性做详细标注。在此基础上，团队进一步构建场景级多模态主动感知问答数据，让模型学习根据当前任务选择合适的交互行为与感知模态，去获取缺失的关键证据。换句话说，ROMI-2K 的价值不只是“数据量大”，而是把交互动作、模态观测与物理属性三者对齐在同一份记录里。
ROMA Bench：把一次交互升级成一条“感知链”
主动感知的关键在于，一次交互获得的观测会影响下一次交互的选择。来源给出的例子是：摇晃物体判断是否为空时，如果听到明显的内含物声音，就不必再交互；如果没有声音，也不能直接排除内部被填满，还需要再掂一掂重量确认。这种由推理、交互、反馈不断串联起来的过程，被概括为“感知链”。
基于这一概念，研究团队在 ROMI-2K 的真实桌面子集上构建了 ROMA Bench，包含 2100 个场景级主动感知任务，覆盖 Single-Chain 单属性推理、Multi-Chain 多属性长链推理和 Intent-Driven 隐含意图推理三类，涉及硬度、粗糙度、纹理、内容物、材质和重量等多种物理属性。任务形式为多选题、判断题和排序题。这样一来，评测就不再是“做一次交互然后回答问题”，而是要求完整的目标选择、动作选择、模态选择和连续推理。
ROMA 系统：从模型决策到机械臂动作
ROMA Bench 考察的是模型“知不知道该怎么探索”，ROMA 系统则要把这种能力推进物理世界。研究团队搭建了一套真实世界多模态物理交互系统，把视觉、听觉、触觉和力四种感知模态与机械臂连接，并设计统一的物理交互接口，使模型能够直接输出针对真实物体的交互指令。
在执行层面，ROMA 将抓取和 ROMI-2K 中的六大基础交互动作程序化，并基于 AnyGrasp 抓取策略，搭配点云补全、抓取筛选和增强机制，以提升真实世界中的稳定抓取能力。模型侧则基于 Qwen 2.5-Omni，通过多传感器联合对齐和主动感知场景微调训练出 ROMA-7B，由它决定抓哪个物体、执行什么交互、需要哪些模态、何时停止探索，并根据每次交互的新数据动态调整后续动作。需要指出的是，来源并未给出稳定抓取能力提升幅度的量化结果。
72.9% 与 61.4%：作者报告的成绩单
在 ROMA Bench 的 2100 道多选题、判断题和排序题上，作者报告 ROMA-7B 取得 72.9% 的总体任务成功率，整体表现基本与 GPT-6 Astra 持平，并明显优于 GPT-5.4 和 Gemini 3.5 Flash。来源还称，GPT-6 Astra 在单步、视觉可推断属性上表现突出，而 ROMA-7B 在需要连续交互、综合多种模态反馈尤其是音频的 Multi-Chain 任务中更具优势，明显超过 GPT-6 Astra；但来源未给出这一超出幅度的可核对数值。
在真实世界实验中，评测覆盖 8 个多物体场景、132 道开放问答题，作者报告 ROMA-7B 取得 61.4% 的总体成功率，接近 GPT-6 Astra 并大幅领先其他前沿大模型。来源同时提到，参数规模相近但未经 ROMI-2K 微调的 Qwen 2.5-Omni 和 Qwen 3-Omni 在目标选择、交互指令遵循和多模态主动推理上表现明显不足，作者据此认为 ROMI-2K 的同步多模态交互数据是 ROMA-7B 以 7B 规模获得接近 GPT-6 Astra 能力的关键训练基础。
这些数字与对比结论均出自论文作者自报，来源没有提供第三方独立复现，也没有展开评测协议细节。因此它们应被读作作者报告的结果，而非已被外部验证的定论。
边界与未解问题
ROMA 目前主要围绕 6 种基础物理交互展开，作者称这只是起点。来源把更丰富的交互 Skill、主动感知与操纵策略的统一、多轮对话与长时序推理、跨场景的持久物体记忆、面向不同机器人形态的主动感知等列为可探索的展望，而非已经实现的能力。
评测范围同样有限：ROMA Bench 构建于 ROMI-2K 的真实桌面子集之上，真实世界评测只覆盖 8 个多物体场景、132 道开放问答题。来源没有提供 ROMA 在非桌面场景、不同机器人形态上的主动感知表现证据，也没有给出真实世界稳定抓取能力提升的量化结果。这些空白决定了当前结论的适用范围。
可信度边界
本文全部事实来自单一来源（机器之心对 ROMA 工作的报道，来源层级为 press release）。机构归属、ROMA 全称、ROMI-2K 的物体规模与 6 种交互、四模态同步采集与属性标注、ROMA Bench 的 2100 个任务与三类任务划分、ROMA-7B 基于 Qwen 2.5-Omni 训练、以及基于 AnyGrasp 的抓取接口等，属于来源明确陈述的事实性内容。72.9%、61.4% 以及与 GPT-6 Astra、GPT-5.4、Gemini 3.5 Flash 的对比结论，均为论文作者自报，缺少第三方独立复现，评测协议细节也未在来源中展开，因此按 source_claim 处理。来源未提供 ROMA 在非桌面场景、不同机器人形态上的证据，也未量化真实世界稳定抓取能力的提升幅度。
核心结论
ROMA 的看点不在于又一个 7B 模型，而在于它把“主动获取缺失信息”拆成了可采集的数据（ROMI-2K）、可评测的任务（ROMA Bench）和可执行的物理接口（基于 AnyGrasp 的交互系统）。作者报告 ROMA-7B 在 ROMA Bench 上达到 72.9%、真实世界开放问答达到 61.4%，但这些数字与对 GPT-6 Astra 的对比仍属作者自报，尚待独立验证；6 种交互、桌面场景与四模态的限定，也划定了当前结论的边界。
主报道
机器之心
主报道来源