何恺明团队发表 VISTA 框架，在不训练新基础模型的前提下，为现有多模态模型增加直接观察视觉环境和无损保存历史画面的能力。接入 VISTA 后，Claude Opus 5 在 ARC-AGI-3 公开游戏上的得分从 40.68 提升至 100，GPT-5.6 Sol 从 13.33 提升至 99。该工作表明，改变模型“看”和“记”的方式，可能比单纯扩大上下文窗口更有效地提升 Agent 在陌生交互环境中的推理表现。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
何恺明团队（MIT 与 Google DeepMind）的 VISTA 没有训练新基础模型，也没有为每个游戏预写规则，却让 Claude Opus 5 从 40.68 分升到 100 分、GPT-5.6 Sol 从 13.33 分升到 99 分。真正值得追问的不是这张成绩单，而是：当模型参数没变、分数却大幅变化时，我们测到的究竟是模型能力，还是整套系统的能力？
何恺明团队（MIT 与 Google DeepMind）发表论文《VISTA：面向交互世界推理的视觉框架》，提出一套面向多模态 Agent 的视觉交互与记忆框架。它没有训练新的基础模型，也没有为每个游戏预先编写规则，只是在现有多模态模型外增加了一层框架。
结果是：接入 VISTA 后，Claude Opus 5 在 ARC-AGI-3 上的得分从 40.68 分提升至 100 分，GPT-5.6 Sol 从 13.33 分提升至 99 分，两个模型最终都完成了全部 25 个公开游戏关卡。
但这一满分成绩仅限公开游戏集。研究团队指出，这些公开游戏早于 Claude Opus 5 和 GPT-5.6 Sol 发布，无法完全排除相关题目进入训练数据的可能；更严格的泛化能力还需尚未公开的私有测试集进一步检验。此外，在 VISTA 之前，ARC-AGI-3 公开集上已出现过满分或接近满分的方案，其中不少依赖程序合成构建可运行的世界模型。
需要说明的是，上述评测结果来自研究团队自身论文与项目主页，属第一方发布，尚无第三方复现。
ARC-AGI-3 是今年 3 月推出、由 ARC Prize 基金会主导的 AGI 基准测试，延续 François Chollet 提出的 ARC 系列思路，考察模型面对陌生任务时的适应与推理能力。
与此前以静态图形题为主的 ARC 不同，ARC-AGI-3 把测试放进动态交互环境：参与者进入从未见过的像素小游戏后，没有操作说明，也不被告知目标，只能通过不断尝试、观察环境变化来摸清规则。
它不只看是否通关，还会参考人类首次试玩时的表现，衡量智能体完成任务所需的环境操作次数。换言之，它想测的是当现成知识无法直接给出答案时，系统能否靠有限观察和试错快速理解陌生环境。
ARC-AGI-3 的游戏本质是一个 64×64 的彩色网格。此前提供给语言模型的最小接口，会把颜色逐格转换成数字，最终变成一长串文本；一个原本一眼能看出位置、边界和形状的二维画面，就这样被拆成 4096 个数字。
VISTA 把这一过程倒了回来：不再把颜色逐格转成数字文本，而是直接将游戏画面以 PNG 图像交给多模态模型，让模型在视觉空间中判断物体在哪里、彼此是什么关系，再决定下一步操作。
效果在消融实验中很明显：仅把输入从数字文本改成直接看图，GPT-5.6 Sol 的得分就从 13.33 分提高到 47.32 分。
直接看图还更省上下文。论文估算，一个 64×64 数字网格完整转成文本约需 4000 个 Token，而同一画面以图像形式输入只需约 300 个图像 Token。这一估算来自研究团队自身测算，未经独立验证。
研究团队发现，单纯扩大上下文窗口并不会继续提高成绩：VISTA 默认使用约 20 万 Token 上下文，扩大到约 78 万 Token 后 Token 消耗大幅增加，但成绩没有提升。这一对比同样来自团队自身测算。
VISTA 的第二个核心设计是无损视觉记忆：把环境返回的每一帧画面按时间顺序完整保存，包括一次动作触发的中间动画帧。模型不必始终把这些图片塞在当前上下文里，而是在需要时主动调取。
具体来说，模型可通过 inspect 主动调出几十步甚至上百步以前的画面、同时比较多张历史图片或放大局部；如果需要确认细微差别，还可用 read_pixels 直接读取具体位置的像素信息。
此外，VISTA 给模型准备了两份文字笔记：GUIDE.md 记录已较确定的游戏规则，WORKING.md 保存当前关卡状态、正在验证的假设与下一步计划。当一轮上下文快要用完时，模型可以先把关键进展写进笔记，再开启新的上下文继续游戏，而此前保存的历史画面和笔记仍可继续调用。
论文的消融实验给出了一条相对清晰的阶梯：加入直接视觉输入和笔记后，GPT-5.6 Sol 成绩提高到 70 分左右；加入无损视觉记忆与主动回看后跃升到 94 分以上；最终加入精确像素读取后达到 99 分。
把这组数字与“仅改为直接看图即得 47.32 分”放在一起看，可以推断（此为推断）：真正拉开差距的并非视觉输入本身，而是“可以回头看”的能力——从 70 分左右到 94 分以上的跃升，发生在记忆与回看机制加入之后。
这也指向一种不同的 Agent 设计思路：与其不断扩大上下文窗口、让模型把所有经历始终“记在脑子里”，不如把原始经历完整保存在外部，在真正需要时再把对应信息找回来。VISTA 本身没有训练新的基础模型，也没有针对每个游戏预先编写规则，它改变的只是模型观察、保存和重新调用信息的方式。
论文还将同一套框架迁移到更多环境中：把 ARC 游戏重新渲染为具有三维透视关系的场景后，VISTA 取得 84.12 分；在包含 34 款浏览器游戏的 GameWorld、AI GameStore，以及静态视觉推理基准 BabyVision 上，其表现也普遍超越了使用同款基座模型但采用默认接口的版本。
在 BabyVision 测试中，仅仅是赋予模型主动放大局部细节的能力，准确率就从 41.0% 提升到 63.2%。
这些结果仅由论文描述为普遍超越同款基座模型的默认接口版本，缺乏第三方复现；无损视觉记忆与主动回看机制在更长周期、更复杂真实环境中的有效性也尚不明确。
VISTA 更值得关注的地方，也许并不只在于这张满分成绩单，而在于它暴露出的一个越来越重要的问题：我们测到的，究竟是模型本身的能力，还是整套系统的能力？
进入 Agent 阶段后，模型之外的感知接口、记忆机制、工具调用和上下文管理都会直接影响最终表现。VISTA 没有改变模型参数，却大幅提升了成绩，使这一问题更加突出。
在真实世界里，这一点会更明显：无论是浏览器、电脑还是未来的机器人，环境都不会主动把信息整理成适合模型理解的形式，智能体必须持续观察、记住关键状态，并在需要时重新调取过去的信息。
因此，VISTA 提出的是一条不同于继续扩大模型规模的路径。但它的边界同样清楚：满分只发生在 25 个公开游戏上，公开游戏是否已进入两个模型的训练数据无法排除，泛化能力仍待私有测试集检验。
本文全部事实来自单一来源：DeepTech深科技对何恺明团队 VISTA 论文的报道（article_id 20470）。该报道转述的评测结果出自研究团队自身论文与项目主页，属第一方发布，尚无第三方复现。其中 Token 估算（约 4000 对约 300）、上下文窗口对比（约 20 万对约 78 万 Token）以及消融实验的分段得分（约 70 分、94 分以上、99 分）在证据包中标记为 source_claim，未经独立验证；其余分数、机制描述与约束条件标记为 confirmed。文中对“分数跃升主要来自回看能力”的判断为推断，已在该处标注。
VISTA 的价值不在于证明某个模型更聪明，而在于证明：在参数不变的前提下，改变模型观察、保存与重新调用信息的方式，就足以让 ARC-AGI-3 公开集上的分数发生数十点的位移。这既是一条不依赖扩大模型规模的能力提升路径，也是一次对评测本身的提醒——当系统能力与模型能力越来越难分离，排行榜上的分数需要更谨慎地解读。
主报道
主报道来源