Einsia AI 发布 PPTBench：评估 Coding Agent 视觉编程能力的新基准

PPTBench 的任务设定很直白：给定一张流程图，Agent 用代码把它重建成一页 PowerPoint。输出必须是真正由代码生成、可编辑的 PPTX，不能简单把原图贴进幻灯片。

这个约束把任务从「画得像」推向了「表达得对」。Agent 需要用文本、形状、连接线等原生 PowerPoint 对象重新表达看到的内容，而不是把视觉信息压缩成一张位图。

任务素材来自真实科学论文中的流程图和架构图，共构建 500 个任务，覆盖系统与软件、人工智能、计算机视觉、语言与语音、量子与基础物理、天文、机器人、生物医学等 13 个领域。布局类型包含多面板图、层级结构、重复网格、复杂连线和文字密集等不同类型。

同一视觉元素可以有多种对象表达方式，一个田字格可以由四个方块组成，也可以由一个方块加两条直线组成。因此 PPTBench 设计了 Agentic Judge，不要求 Agent 按固定对象树重建，而是从最终交付的 PPT 出发逐层判断任务是否真正完成。

第一道关是 Artifact Gate：检查 PPTX 能否正常解析和渲染、是否生成单页幻灯片、是否包含足够原生可编辑对象、是否存在直接贴图等。产物无效直接判 0 分。

通过 Gate 后进入三阶段评测。Stage 1 判断流程语义是否做对，只要流程本身发生改变，即使视觉上再接近也不算正确；Stage 2 判断是否具备基本可读性，排除严重渲染问题或排版错误；Stage 3 才比较整体布局与局部视觉差异，并结构化记录问题。

这套设计的关键在于把「看懂」和「做对」拆开：Stage 1 管语义，Stage 2 管可用，Stage 3 管相似度。三者顺序不可颠倒，因为语义错了，后面两项再漂亮也没有意义。

研究团队测试了 10 个模型、36 种配置，每种配置完成同一组 500 个任务，每份结果经过三轮评审，累计得到 54,000 份评审记录。

GPT-6 Astra High 以 77.34 分位居榜首，在 500 个任务中全部生成有效产物，80.8% 同时通过语义和渲染检查。其他参评模型中，Kimi K3 High 表现最好，得分为 67.80；GPT-5.6 Sol Max 和 Qwen 3.8 Max XHigh 分别得到 49.28 和 47.69 分。

即便是最优配置，也仍有近两成任务没能同时通过两道检查。这个数字本身说明，从「能够还原」到「稳定地还原正确」，中间还有明显距离。

在全部 18000 份结果中，394 份（2.19%）未通过产物检查；随后 11526 份（64.03%）因流程语义错误被拒绝。剩余 6080 份中，又有 365 份未通过渲染／文字门控，最终 5715 份（31.75%）进入细节评分。

也就是说，真正卡住模型的第一道墙不是代码能不能跑，而是它有没有看懂图在说什么。超过六成结果在语义阶段就被拦下。

进入细节评分的产物中，文本与排版问题贡献了 53.0% 的细节扣分，局部图形占 34.3%，布局占 12.8%，失分最多的单项是文本意外换行。

这些问题恰恰是生成脚本本身无法直观体现的：脚本不会告诉模型渲染出来的文字是否会在不该换行的地方换行、是否会挤爆文本框。只有真正进行视觉审查与迭代的模型，才可能发现并解决它们。

提高 reasoning effort 的收益主要体现在门控通过率上。GPT-6 Astra 从 Low 到 High，平均分由 59.42 升至 77.34，通过全部门控的比例由 63.0% 升至 80.8%，提高 17.8 个百分点；而通过门控后的条件细节分仅由 94.32 升至 95.72。

但更多思考并不保证更高得分。Astra 五档的平均分依次为 Low 59.42、Medium 68.16、High 77.34、XHigh 72.60、Max 68.76。从 High 到 Max，门控通过率从 80.8% 降至 71.0%，尽管条件细节分升至 96.85，总分仍然下降。

这说明思考深度带来的主要收益是让更多产物保留正确的流程，而细节精度的改善相对有限。Astra 在 High 达到最佳表现，也提示把 effort 调到最高档未必是可靠的默认选择。

模型构建 PPT 的过程和人类不同：人类会把组件一个一个拼上去，模型则一次写出完整的 PPTX 生成脚本，再根据视觉反馈调整。

分析模型的调用轨迹后发现，对自己的产物进行视觉检查次数更多的模型，往往得分更高。在解析了调用轨迹的 27 个配置中，模型审查轮数与得分的 Pearson 相关系数为 0.881；作为对比，修改轮数与得分的相关系数仅为 0.255。

需要说明的是，这是相关性而非因果证据：来源并未说明审查行为本身是否直接带来分数提升，也可能存在「更强的模型同时更爱审查、也更容易得分」的混淆。但至少从数据形态看，视觉审查与高分之间的关联远强于盲目修改。

PPTBench 的实验表明，前沿 Agent 已经能够完成相当复杂的视觉重建，但语义理解是最主要的瓶颈；当语义基本正确之后，文字、布局和局部细节又成为新的挑战。

这一结论目前仅见于该团队自身发布与机器之心的报道，缺少第三方独立复现。GPT-6 Astra、Kimi K3、GPT-5.6 Sol、Qwen 3.8 等模型名称与分数均来自该基准自身评测，未在来源中显示外部验证。

来源也未说明 Agentic Judge 各阶段判定的一致性、人工复核比例或评分误差范围；未给出各模型在 13 个领域上的分领域表现，无法判断能力差异是否与领域相关；未说明 500 个任务在 13 个领域间的具体分布与难度分层；也未说明评测所用模型的具体版本、调用参数与运行环境，跨配置可比性未知。

因此，把这份榜单读成「谁更强」的排名时需要谨慎；它更可靠的价值，是提出了一个可被追问的问题：当 Agent 看到一个视觉目标时，它能不能真正理解其中的结构，并把这种理解可靠地写进代码。