VA-Bench 发布:大模型空间智能存在执行断层
VA-Bench 是一个面向具身空间智能的新基准,要求多模态模型在机器人操作中完成观察、推理、行动与修正的闭环。测试显示,12 个主要模型在目标识别与定位上可达 100%,但完整任务成功率仅约一半,最好成绩为 Qwen3.8-max 的 53.93%。文章指出,当前模型的主要瓶颈在于精细空间执行、在线错误修正以及双臂协同。
VA-Bench 是一个面向具身空间智能的新基准,要求多模态模型在机器人操作中完成观察、推理、行动与修正的闭环。测试显示,12 个主要模型在目标识别与定位上可达 100%,但完整任务成功率仅约一半,最好成绩为 Qwen3.8-max 的 53.93%。文章指出,当前模型的主要瓶颈在于精细空间执行、在线错误修正以及双臂协同。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
VA-Bench 把空间智能放进「观察→推理→行动→修正」的闭环,测出多模态大模型在目标识别与语义理解上接近满分,完整任务成功率却只有约一半。断层不在「看懂」,而在把看懂稳定地变成动作。
VA-Bench 的出发点,是让空间智能不再停留在「回答一个已经被定义好的空间问题」。研究团队把它放进「观察→推理→行动→修正」的完整闭环,要求模型主动判断当前信息是否足够,并决定下一步该看哪里。这与传统空间评测的关键差别在于:看什么、答什么,不再由评测者提前替模型决定。
约束是配套的。测试前模型只观看成功示范视频,理解任务怎么做,但不会获得物体坐标、专家轨迹或精确动作参数;测试中它可以主动切换视角,代价是消耗交互步数,因此必须在继续观察与开始行动之间取舍。最终空间判断还必须落到动作上:模型要直接给出具体的移动距离和旋转角度,并决定何时打开或闭合夹爪。
规模上,VA-Bench 包含 14 类机器人操作任务,其中 11 类单臂、3 类双臂,每类 20 个经物理验证的场景,共 280 个基础场景。此外还设置了几何迁移和长时序组合测试,分别追问换布局后能否重新判断、以及若干独立操作能否稳定串成更长任务。
VA-Bench 测试了 12 个主要多模态模型。表现最好的几组在目标识别与定位(TL)上达到 100%,操作语义理解(MS)达到 99.6%-100%。如果只看这两项,结论会是模型已经「看懂」了空间。
但完整任务成功率只有约一半:Qwen3.8-max、Opus-5 和 GPT-5.6-sol 分别为 53.93%、52.86% 和 51.55%。同一批模型的子任务完成率为 65.9%-68.6%,说明失败往往不是完全不知道怎么做,而是已经完成不少步骤,却没能把整个任务稳定做完。
从这些数字可以推断(此为推断,非来源结论):当前模型的主要瓶颈不在目标识别与语义理解,而在精细空间执行、在线修正与双臂协同等执行环节。来源提到,模型可能准确找到一个瓶子,却在夹爪尚未下降到合适高度时提前闭合;也可能理解「需要把物体放进容器」,却无法稳定判断物体与容器之间精确的高度、深度和接触位置。
本文全部事实来自 VA-Bench 研究团队发布、经机器之心报道的单一来源,属研究团队自评结果,尚无第三方独立复现或验证。来源未提供 FG、SR 等细分指标的完整数值,未给出主动观察对照实验的模型名单与下降幅度,未说明长时序任务「完整完成」的判定标准,也未披露与既有空间推理基准的量化对比。文中标注为推断的判断,是基于来源数字的编辑分析,不代表来源结论。
主报道
主报道来源