NeurIPS 2026 Spotlight：VisInteract 用交互搜索找回用户真实意图

机器之心的报道把这项工作的落点放在一个前提上：现有 Text-to-Vis 研究大多默认用户那句话已经把真实意图说全了。VisInteract 的标题直接写明 “under Imperfect Queries”，主张在查询不完美时，任务更接近多轮交互式的意图找回，而不是一次出图。

报道称该工作已被 NeurIPS 2026 接收为 Spotlight，投稿量为 292/30709；论文地址为 https://arxiv.org/abs/2609.15182，代码地址为 https://github.com/wxxv/VisInteract。作者分别来自香港理工大学与字节跳动，共同第一作者许文鑫、卢锦伟来自香港理工大学，许文鑫为该校博士生，指导老师为张晨教授与魏骁勇教授。

需要区分的是：接收状态与作者信息属于可核验的会议与署名事实；而“需求往往说不完全”这一出发点，是论文自身的立论前提，报道并未提供外部统计来支撑它。

VisInteract-Bench 的规模是 1098 条样本、11 个数据库、75 张表，覆盖体育、娱乐、教育、金融、医疗等 7 个领域，每条样本平均约 4.7 个关键特征。这些数字来自论文自述，报道未给出第三方核验。

更关键的是输入构造方式：查询是事后注入故意不完美的自然语言，约 61% 的样本带歧义，69% 带事实错误。论文称这是其所知的第一个面向动态交互式 Text-to-Vis 的基准，同时覆盖不完美查询、动态交互与多模态反馈——这一“第一”的定位同样属于论文自述，报道未提供外部比对确认。

基准还设计了模拟用户的 User Agent：它知道标准答案（关键特征、参考代码和参考图）但不主动交底，系统直接索要意图会被拒绝；文字追问只回答被问到的特征，看图反馈只说哪里不对、不说怎么改。换句话说，交互不是事先写好的剧本，而是跟着系统输出变化。

报道给出的理由是：同一句分析意图，柱状图、折线图、颜色怎么映射，往往都能算一种对。用精确匹配去罚“对了但画法不同”的图，会把需求满不满足和实现好不好看混为一谈。

因此输出端采用基于 LLM-as-Judge 的双视角评估：代码裁判检查程序是否满足每条关键特征，图表裁判检查渲染结果是否满足每条关键特征，两边都过才算该特征过关。主指标 Task Score 要求一个样本的全部关键特征都满足。

由于评测依赖大模型裁判，论文另换 GPT 裁判并加入人工专家做交叉验证，两两 Cohen's Kappa 与三者 Fleiss' Kappa 均超过 0.81 的“几乎完全一致”线。这缓解了对单一裁判偏好的担忧，但报道未提供独立复现结果。

论文把动态交互式 Text-to-Vis 建模成部分可观测的序贯决策：系统能看到不完美查询和数据库，却看不到用户真正的意图，只能通过文字追问和看图反馈拿到间接证据。单链路的 ReAct 一旦第一步走错，后面基本只能将错就错。

Vis-MCTS 由三部分组成。其一是带渐进加宽的选择与扩展：在查 SQL、画 Altair 图、向用户提问和结束四类动作间分叉，节点被访问得越多才允许多长出几个分叉，并设硬上限。其二是带跨路径记忆的模拟：文字问答与看图打分批评写成两份全局记忆，一条路上问清了，整棵树都能用。其三是维度感知的奖励分解：把满意度分数拆成数据忠实、视觉设计、意图对齐，再分别回传，并锚定回原来的用户分数，避免模型打分习惯使总分漂移。

报道举的例子是：用户反馈“我要的是按面积从大到小排的柱状图”、满意度只有 2 分时，拆开后数据维度 10 分、图表设计 3 分、意图对齐 2 分，查数那一步拿到更高回报，画错图类型的那一步被单独压低；若均匀回传，对的 SQL 会被错的图拖下水。

在最严格的 Merge Task Score 上，Vis-MCTS 在 Qwen 骨干上达到 51.46%、在 Gemini 上达到 57.19%，相对最强交互基线 Best-of-N 分别高出 13.40% 和 16.27%。代码视角的 Task Score 从最强基线的 50.00%/54.79% 提升到 61.66%/67.21%。相对不交互的自我纠错方法（7.38%/10.66%），论文称任务成功率超过 5 倍。

报道还提到，Vis-MCTS 在两个骨干以及代码、图表、Merge 全部口径上都取得最好成绩，图的可渲染率均为 100%。所有方法共用对齐后的工具与 User Agent，差别只在搜索方式——这是让对比更干净的设计，但也意味着结论只在论文设定的这套交互环境内成立。

这些数字全部来自论文自报，评测又依赖大模型裁判，报道未提供独立复现结果。因此它们应被读作论文报告的性能，而非已被第三方确认的能力水平。

以 Qwen 的 Merge Task Score 为例，完整模型为 51.46%；去掉视觉反馈降至 24.24%，降幅最大；去掉跨路径记忆为 34.06%；去掉奖励分解为 43.26%；去掉文字追问为 44.08%。

按报道的解读，视觉反馈的缺失让搜索失去终点信号，而其余模块的贡献相对温和。这组数字支持的是“分叉回退 + 交互共享 + 按错因回传”整套机制的协同，而不是某个单独技巧——不过它同样只是论文自报的消融结果。

论文自己承认两点：模拟用户的 User Agent 比真人反馈理想，且多轮搜索更贵。报道未给出具体开销或效率数据，因此“更贵”目前只是一个方向性判断，无法量化。

此外，基准的样本量、领域覆盖与不完美输入比例均来自论文自述，缺少第三方独立核验；“第一个面向动态交互式 Text-to-Vis 的基准”是论文自述定位；主实验与消融结果均由论文自报。论文提出的未来方向——结合更真实用户反馈、更丰富可视化语法——尚未实现，效果未知。

把这些边界放在一起看，这项工作的可确认部分其实很清晰：一个被接收的范式主张、一套公开的基准与方法、一组自报的性能数字，以及一组被作者主动写出的限制。至于它在真实用户场景下能否复现同样的收敛能力，报道没有回答。