浙大提出ProVisE：让生成式模型直接“画”出空间认知，而非输出坐标

空间判断本来发生在连续的视觉场景里，但现有空间认知评测几乎都要求模型用坐标、选项或文字作答。浙江大学OmniAI团队在论文《Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text》中把这种要求称为“反直觉”：对文本VLM已不够自然，而天然工作在像素空间、本可直接“画”出答案的图像生成模型，则被挡在评测门外。

这是该研究的出发点，也是一项来源方主张而非中立事实。它真正提出的问题不是“生成模型能不能做空间题”，而是评测的作答接口是否本身就筛掉了某一类模型。围绕这一点，团队提出ProVisE框架，让图像生成模型直接在图中回答空间问题，并将视觉答案还原为原benchmark可评分的结构化预测。

ProVisE的流程分三步：Protocol Router按任务选择视觉协议；图像生成模型依Guidance Prompt产生可解析的视觉答案；Protocol Parser再把像素结果转换成原benchmark所需的标签、点、掩码、状态或轨迹。视觉协议是这套框架的基本单元，每套协议包含一段guidance prompt与对应parser。

协议的具体形态包括标记目标、填充方向网格、生成深度图、涂出目标区域或画出机器人运动轨迹。来源举例称，模型可以直接把目标公交车点出来、把机械臂的移动轨迹画在原图上；判断A、B两点谁更近时生成一张深度图；面对“缆车上还能否再坐一个人”这类问题，则把第二位乘客补到座椅上，直观展示空间是否足够。

为应对形式各异的空间benchmark，ProVisE内置Agentic Protocol Construction框架。Agentic Builder逐任务扫描数据、输入形式、答案结构和评分规则，将其统一为任务规范，再选择Reuse、Build或Fallback三种协议构建路径：Reuse直接复用兼容的已有协议，Build利用已注册的解析组件组装新协议，Fallback则在确定性组件无法覆盖时由辅助VLM解析生成图像并恢复结构化预测。

一个容易被忽略的约束是：协议构建完成后必须经过验证，确保视觉答案能正常生成、解析并接入原指标，通过后才被冻结，用于所有图像生成模型的评测。这意味着评测的可比性依赖于协议先被固定下来，而不是每个模型各用一套解析方式。