AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考

让 AI 解释一道科学问题、列出分析步骤，甚至写出分析代码，这些已经不难。难的是再往前走一步：打开科研软件，导入数据，配置参数，运行分析，保存并导出结果。OSWorld-Science 把这一步做成了评测对象。

该基准由清华大学研究团队牵头，多所海内外知名高校与研究机构的科研人员共同推出，面向真实科研场景。它包含 146 项专家设计的任务，涵盖 7 大科学领域、14 种科研软件配置，并被交给 12 个视觉语言模型测评。在当前评测中，12 个模型的平均任务得分仅为 34.3%。

需要强调的是，这里的得分衡量任务完成程度，并不等同于成功率。它更像一把刻度尺，量的是模型把一项科研任务推进到了哪一步，而不是简单地判定“做成了”或“没做成”。

OSWorld-Science 的任务由领域专家把真实研究流程转化而来，并为每项任务设定了验证标准。智能体需要在虚拟机中，通过键鼠或终端操作软件，每次行动之后根据新的界面状态决定下一步。

最终评测依据的是任务结束后的文件产物与应用状态。换句话说，模型描述自己完成了什么并不被采信，必须由实际结果来证明。这一设计直接决定了后面那些失败案例的性质：不是“答错了”，而是“没有留下可交付的东西”。

为了让不同模型的结果可以比较，团队基于 OSWorld 的多模态 PromptAgent 进行了科学软件适配，提供统一的提示与交互流程，并采用一致的任务步数预算和基础回复长度限制。请求、响应、令牌消耗与执行日志也会被记录下来，研究者既能看到模型交付了什么，也能回到过程中查看它在哪里遇到困难。

在 146 项任务上，Claude Fable 5.1 以 73.7% 的平均任务得分领先。Claude Opus 5、GPT-6 Astra 和 GPT-5.6 sol 的得分分别为 57.9%、57.4% 和 50.1%。

但把总榜拆开按学科看，画面会变。在统计任务中，各模型都表现较好；到了化学任务，只有少数模型，如 Claude Fable 5.1 和 Claude Opus 5，得分能够超过 20%。GPT-6 Astra 在医学影像任务中达到 69% 的得分率，却在化学任务中表现不佳。

同一个模型进入不同科研领域，可能呈现出不同的能力边界。这让科研场景中的模型选择变得更具体：总榜可以提供参考，但真正需要比较的，是模型能否完成相应科研领域的实际工作。

本次评测显示，得分最高的模型并非成本最高的模型，表明模型性能与调用成本之间并不是简单的线性关系。同时，低成本的模型虽然能够完成部分科研任务，但在任务完成度、执行稳定性和最终结果质量上，与高性能模型相比仍存在明显差距。

另一个结果来自输出量差异。Claude Fable 5.1 平均每项任务输出约 2.1 万 tokens，得分为 73.7%；Gemini 3.1 Pro 平均输出约 15.7 万 tokens，得分为 17.2%。

这里需要谨慎：输出量包含推理 tokens，也不能单独代表费用，输入 token 量、模型定价和反复交互都会影响最终成本。但这组对比仍然提示了一个值得追问的问题——更多的输出，究竟有没有让任务被更高质量地完成？文章提出了这个问题，并未给出确定答案。

有些困难只有回到操作过程才能看清。在生物学软件 Mnova 的一次运行中，模型需要处理 Bruker 一维 H 谱，把 6-溴吲哚的每个氢归属到谱峰。Claude Sonnet 5 因坐标映射偏差，在同一个错误位置重复点击了 39 次，最终耗尽预算而任务失败。

第一次点错可能只是定位偏差。但连续点错之后，智能体需要识别错误模式并反思改变行为：判断界面有没有发生预期变化，当前操作是否可能无效，接下来需不需要换一种方法。缺少这一步，失败操作之后的行为就可能变成更多的失败重复。

在对已公开轨迹的分析中，团队发现 61% 的失败运行没有留下可评分产物，同时耗尽了步骤或时间预算。这使“完成任务”的含义变得更清楚：即使已经做过部分分析，如果没有及时保存、导出和核验，工作仍可能停留在无法交付的状态。

软件成功运行，并不意味着科学任务已经结束。在 ANSYS Fluent 的圆柱绕流伴随任务中，Kimi K3 发现阻力读数为零，这个异常让它重新检查设置，随后修正了漏选壁面的问题，最终获得满分。在这里，结果不只是被读取出来直接交付，它也成了模型检查自己前面操作是否正确的依据。

但检查本身也可能出错。一个化学任务的案例显示，智能体进行了多次格式转换和内部一致性检查，却仍然重复同一个立体化学错误。原因在于，如果检查始终围绕同一个错误表示展开，一致的结果也可能只是同一个错误被保留了下来。

科学验证需要独立的证据，并允许这些证据推翻原先的判断。原始数据、物理约束和精度要求，都可能成为这样的依据。智能体需要做的，是把结果重新放回任务要求和相关科学规律中检验其准确性与合理性。

把不同学科的任务放在一起看，OSWorld-Science 关注的是一项贯穿始终的能力：让 AI 把专业知识落实到科研软件操作中，把具体科研任务自动化处理为可验证的科研产出。界面定位决定操作能否落在正确位置，环境适配决定流程能否继续，进度检查帮助智能体跳出无效循环，科学验证则决定最终结果能否被信任。

这项研究汇聚了清华大学、加州大学洛杉矶分校、耶鲁大学、卡内基梅隆大学、加州大学伯克利分校、斯坦福大学、浙江大学、香港大学、东京大学等机构的研究者，并获得 Kimi、Z.ai、Alibaba 等公司基础模型部门的支持。

研究团队也欢迎更多研究者加入任务共建：一方面计划补充更多科研领域中的真实问题，包括并不限于无机化学、生命科学、力学、材料学、地球科学、社会科学等方向；另一方面是设计更全面的跨软件 AI 工作流，例如在蛋白质结构分析中串联 PyMOL、AutoDock Vina 与 Python 的多步流程。146 项任务只是一个起点，当前基准的覆盖范围仍将变化。