AdaRoboVLG：面向不同机械手的任务自适应视觉语言抓取框架

视觉-语言抓取（VLG）要同时处理空间、认知、时序与本体四类挑战：找准目标并避开碰撞、理解物体用途、追踪持续变化的状态，还要适应不同机械手。来源指出，不少端到端 VLG 方法直接把视觉观察和语言指令映射为抓取动作，其适应能力往往受训练数据与机械手配置限制，面对新任务情境与本体通常需要补充数据或重新训练。

AdaRoboVLG 的应对方式是把“任务需要怎样抓”与“机械手如何稳定抓取”解耦，用统一的抓取接口连接任务理解与物理抓取合成：上层把任务情境转化为抓取约束，下层据此为不同机械手生成稳定姿态。该接口由目标物体几何、接触抓取表示（CGR）和与机械手兼容的抓取类型组成；CGR 描述接触位置、概率、接近与闭合方向以及抓取宽度，抓取类型来自人类抓取分类并依据机械手运动能力筛选。

按来源描述，基础策略先根据 CGR 和抓取类型为具体机械手生成候选，再由共享模型用 HOI 表示进行稳定性评分；接入新机械手时只需配置对应的运动学映射和兼容抓取类型。这是该框架“可扩展”主张的技术落点，但来源未给出接入新机械手所需的实际工程量或耗时数据。

空间先验回答“机械手能否伸进去”。它利用多视角 RGB-D 观察，将 DINOv3 提取的图像特征提升到三维形成场景级语义表示，再结合点云通过 Contact-GraspNet 预测场景级 CGR，为不同机械手提供可映射的接触候选。该模块中的 Contact-GraspNet 在 GraspClutter6D 上训练。在 DexGraspNet 2.0 的三种杂乱程度与三种机械手上，AdaRoboVLG 平均成功率为 88.4%，在 Random、Loose 划分上取得表中最佳结果，但来源明确说明 Dense 划分仍有对比方法更高。

认知先验回答“该怎么抓”。开放集功能推理评测包含 125 组图像-指令对、57 种操作任务与 80 类物体；来源称基础 LLM 的功能部位、抓取类型准确率分别为 82% 和 63%，加入 RAG 与 CoT 后提升到 94% 和 87%，其中 CoT 对功能部位判断改善更明显，RAG 对抓取类型选择更有帮助。在语言引导的目标抓取任务中，AdaRoboVLG 在 GraspClutter6D 和 GraspNet-1Billion 上的三手平均成功率分别为 81.3% 和 86.0%，来源称其在两组基准、三种机械手上均取得最高成功率。

时序先验回答“如何跟上”。它结合 SAM3 的掩码跟踪与 DINOv3 的跨帧特征一致性估计目标刚体运动，并在线更新目标几何和 CGR，该模块本身不需要额外训练。来源称在 GraspNet-1Billion 的 Seen、Similar、Novel 划分上，AdaRoboVLG 在多抓取跟踪准确率、平移误差和旋转误差三项指标上均处于领先水平；但来源同时指出，对称物体仍可能出现旋转漂移，严重遮挡也可能导致跟踪丢失。

基础策略的训练规模是这套框架的支撑点之一：研究团队在 Isaac Sim 中使用 DH3、Allegro、Inspire 三种机械手，采集了 440 万次带标注的抓取试验。来源称三手联合训练的模型在 DH3、Allegro、Inspire 上分别达到 82.95%、88.02%、91.07% 的抓取质量预测准确率，且相比独立编码手与物体，HOI 收敛更快、训练损失更低。这些数字来自论文自述的仿真实验，属于来源转述的研究结论。

真机实验覆盖 102 件日常物体，包括食品、家居用品、工具、玩具、电子产品和纺织品；每次试验要求找对目标、满足功能意图、避免碰撞，并将物体抬高 10 cm、保持 5 秒不掉落。在配备 ROHand 灵巧手的 XMAN-R1 与 TianJi Marvin 平台上，每件物体进行 5 次随机化试验，共 510 次真实抓取，总体成功率为 83.3%，且系统未进行真实世界微调。来源还称系统被部署到平行夹爪，以展示跨末端执行器的适配能力。

动态场景方面，实验使用配备 ROHand 的 AgileX Piper，选择 16 件代表性物体，在速度为 2-5 cm/s 的传送带上演示功能性抓取，抓取姿态的在线更新频率为 5 Hz。随后在同一机械臂上使用平行夹爪测试人为干扰下的鲁棒性，面对移出视野恢复、快速移动、连续遮挡、平移与旋转同时发生四类干扰，来源称总抓取成功率为 89.7%。这些均为来源转述的团队自测结果，未见第三方复现。

来源把“scalable”落到两处演示上：加入任务分配模块后，AdaRoboVLG 能进行双臂分拣；接入深度补全模块后，还能处理透明物体。两种扩展分别改变任务组织与感知输入，来源称均不需要重新训练基础抓取策略。由此，新能力不必全部写进同一个策略，而可以通过模块接入、由已有抓取底座承接。

但来源也列出了模块化的边界：上层若识别错功能部位，底层可能生成稳定却不符合用途的抓取；多视角定位不一致、深度重建噪声和缺少触觉反馈，也会限制可靠性。触觉闭环，以及严重遮挡下的推、拨等预操作，仍是未来方向。这些是论文自述的局限，而非外部验证结论。

从更广义的系统视角看，来源的论点是机器人能力的 Scaling 不只取决于模型规模，更依赖感知、推理、技能与本体之间的协同。AdaRoboVLG 将基础模型先验、可复用抓取技能与不同机械手连接起来，展示了通过能力组合推动能力扩展的思路。需要区分的是：框架设计与实验数字来自论文及其项目主页，本文所依据的是一篇二手报道，其中的成功率、准确率与领先性表述均属来源转述，尚无独立第三方复现或基准交叉验证。