从 Computer-Use 到 Robot-Use：Show-Harness 让 VLM 直接操控真实机器人

这篇工作的出发点是一个追问：如果给基座模型一个它能够理解、组合并持续校正的物理接口，它已有的智能能否更直接地进入物理世界？来源把当前路线归为两类——传统 VLA 让模型基于图像和任务指令直接回归连续控制量，需要为不同机器人和数据分布反复适配；另一类让大模型只负责规划、再由独立控制器执行，语义决策与实际动作之间被拉开距离。

Show-Harness 选择第三条路：在模型与机器人控制之间插入一层语义动作接口。对模型而言动作是可读、可推理的语义单元；对机器人而言，动作由各自的解释器转成受安全边界约束的本地控制命令。来源强调，模型侧接口不随机器人形态改变，切换具身平台时替换的是底层动作解释器，而不是要求 VLM 重新学习一套面向关节和坐标系的动作语言。

这一思路的参照是 Computer-Use：在电脑上 Agent 不需要输出底层驱动信号，面对的是 click、type、scroll 这类清晰、可组合、能从观察中验证结果的动作接口，据此形成 observe → reason → act 闭环。来源的类比是，机器人控制真正难的不只是“让模型决定一个动作”，而是设计一层既能承载视觉与空间理解、又足够细粒度以完成接近、对齐、抓取、放置和修正的接口。

动作空间是一组紧凑的语义动作单元：相对当前参考视角的前后、左右、上下移动，绕特定轴的旋转，抓取、释放或结束任务。来源给出两个关键点：语义上可理解，模型不必直接输出关节或末端位姿数值，而是围绕“目标在什么方向”“下一步应靠近还是下移”“是否已经对齐”来决策；物理上可落地，每个语义单元对应一个小而有界的物理变化，由各平台解释器映射为各自的运动控制目标。

执行不是一次性输出长计划再盲执行。Harness 把多视角图像、机器人本体状态、短期动作历史和任务描述组织进循环：模型观察当前状态、分解或更新子任务、做出语义动作，执行后再根据新的视觉与状态反馈继续修正。来源称这构成 perceive-reason-act 闭环，感知、推理与执行模块围绕共享语义接口组织。

GUMI（GUI-based Manipulation Interface）把同一套语义动作单元呈现为浏览器图形控件和键盘快捷键，形成三种控制方式的统一：人类操作者用键盘远程“玩”机器人，无需专用遥操作硬件；Computer-Use Agent 像操作网页一样操作同一 GUI；VLM robot agent 直接预测同一套语义动作，无需经过 GUI 点击。每一步操作前的观察与被选动作被记录成 (observation, action) 数据对，动作解释器同时保留低层命令和轨迹，因此一份示范数据既可用于训练基于 Show-Harness 的动作策略，也可转化为连续控制 policy 的数据。