Cognition 发布 FrontierCode 1.1 排行榜

FrontierCode 1.1 排行榜的核心变化不在模型，而在评分口径。Artificial Analysis 宣布上线这一来自 Cognition 的私有评测，它测试的不是模型能否写出跑得通的代码，而是其改动是否真能被真实世界仓库的维护者合并。Cognition 于 2026 年 6 月发布 FrontierCode，7 月更新到 1.1 版本，数据集由该公司与开源维护者共同构建，每个任务耗时超过 40 小时。

任务形态决定了难度来源：每个任务要求智能体对真实开源仓库做出一处改动，然后同时检查单元测试与维护者合并所需的定性测试。这意味着“测试全绿”只是入场券，而不是终点。Artificial Analysis 运行的是 FrontierCode 1.1 Main，即该基准 150 个任务中的主要 100 任务集，并使用其 Stirrup 开源参考框架，以实现跨模型的同条件比较；所有任务均为私有，以避免数据污染。

FrontierCode 的评分规则是理解其分数分布的前提。每次尝试同时按阻断性与非阻断性标准评分：未通过任一阻断检查得零分，全部通过则得分在 70% 至 100% 之间。这一设计把评测从连续打分变成了带硬门槛的分层判定——模型要么被挡在门外，要么落在 70 分以上的区间里。

与其他编码评测不同，FrontierCode 还评估过度改动、大 diff、修改相关范围之外的文件以及添加无用测试等行为。这些指标不直接对应功能正确性，却直接对应维护者是否愿意按下合并按钮。Artificial Analysis 在发布中给出的判断是：模型如今非常擅长编码任务，但其改动往往仍需大量清理才能被维护者合并。这一判断属于发布方的自述，而非独立验证的结论。

在发布时评测的模型中，Claude Opus 5.5（max with fallback）以 52% 的得分领先，其尝试中有 58% 通过了阻断检查。这两个数字之间的落差值得注意：即便在通过阻断检查的尝试里，最终得分也未必落在区间上沿，说明非阻断性标准仍在持续扣分。

顶部十分密集：来自六家实验室的九个模型得分在 43% 至 52% 之间。开源权重阵营中，MiMo-V2.6-Pro 以 45% 领先，其后是 DeepSeek V4.1 Flash（max）与 Kimi K3（max）的 44%。九分的区间内挤进九个模型，意味着在这一评测口径下，头部模型之间的能力差距被压缩到了很小的范围。

另一组数字指向能力边界：100 个任务里有 9 个任务没有任何模型的任何一次尝试通过。这些任务的具体内容与失败原因未在来源中披露，因此无法判断它们是任务设计问题、模型能力盲区，还是维护者标准的某种极端情形。

发布方给出的第三个要点是成本效率。GPT-6.1 Sol（max）以每任务 0.81 美元取得 49% 的得分，与 Claude Fable 5.1（max with fallback）持平；Artificial Analysis 称其以不到领先 Anthropic 模型十分之一的每任务成本，达到了相近的性能。

需要明确的是，这一成本对比属于发布方自述：来源未给出对照模型的具体成本数值，“不到十分之一”因此无法被独立核算。同样，所有模型的得分与成本数据均由 Artificial Analysis 自行运行与公布，缺乏独立第三方验证。这些数字可以作为观察方向的参考，但不宜当作已确证的成本结论。

从证据强度看，评测的机制性事实相对清晰：任务数量、构建方式、运行框架、评分规则、私有化防污染设计，以及各模型的得分与阻断检查通过率，均来自 Artificial Analysis 在 X 平台发布的单一帖文。该帖文属于发布方自述，未提供第一方评测报告或第三方复核。

几处关键信息在来源中缺失，直接影响解读边界。其一，“领先模型仍有超过 40% 失败率”的表述未说明失败率的具体统计口径，无法判断它指的是任务通过率、尝试通过率还是其他分母。其二，九个模型来自哪六家实验室、具体模型清单未在来源中完整列出。其三，Cognition 与 Artificial Analysis 的合作分工细节——谁负责评分、谁负责运行——未在来源中说明。

此外，本次排行榜仅覆盖 FrontierCode 1.1 Main 的 100 个任务，而非全部 150 个任务。Artificial Analysis 表示很快会把 FrontierCode 加入其编码智能体排行榜，但“很快”是模糊表述，没有时间表。