Artificial Analysis 发布 Decision Index，基准测试决策模型

Artificial Analysis 发布了 Artificial Analysis Decision Index v1.0，用来比较决策模型与语言模型在能力、成本和速度上的取舍。按该机构的说法，决策模型输出带概率的结构化答案或分类，响应更快、成本低于使用语言模型——这是发布方对产品类别的定义，而非第三方验证的结论。

指数 v1.0 由四个基准组成：AA-Omniscience-Decision、HLE-MultiChoice、NVIDIA 的 When2Call 以及 WildGuardTest。四个基准分别指向知识、推理、工具调用与安全分类，覆盖了决策模型被期待承担的主要任务类型。

Artificial Analysis 表示将继续开发该指数，以帮助开发者和企业理解何时以及如何使用决策模型。这句话本身也说明 v1.0 不是终局：指标与结果都可能变化。

AA-Omniscience-Decision 是改编自专有 AA-Omniscience 基准的 500 题私有数据集，衡量决策模型的知识水平与幻觉倾向。私有意味着外部无法复核题目与评分细节，这一点会贯穿后文所有关于“知识”的结论。

HLE-MultiChoice 由来自 Humanity’s Last Exam 的 513 道纯文本多选题组成，测试决策模型的推理能力。纯文本、多选，意味着它不覆盖多模态或其他题型。

When2Call 是来自 NVIDIA 的工具调用基准，测试模型能否正确决定调用工具、请求澄清、拒绝回答或直接作答，指向的是智能体工作流与工具路由相关的能力。

WildGuardTest 用于评估模型在有害用户请求、助手拒答与有害响应上的分类能力。发布方使用的是原始 1,725 行测试数据中三位人工标注者在三个标签上全部一致的 835 行子集，并排除了会持续触发模型拒答的问题。样本经过筛选，这是理解其分数时必须记住的前提。

在决策模型内部，Jev 1.13 以 58 分位居 Decision Index 榜首，高于 GLiDE 的 54 分和 Microsoft-Decision-1 的 54 分。这是发布方给出的排名结果。

但把语言模型放进来，画面就变了。Claude Haiku 5.5（Low）在该指数上得 61 分，比 Jev 1.13 高 3 分。也就是说，决策模型阵营的领先者，在总分上仍低于一个被拿来对照的语言模型。

这 3 分的代价被发布方明确量化：Claude Haiku 5.5 每任务耗时 1.4 秒，约为 Jev 1.13 的 11 倍；每百万任务成本 184 美元，约为 Jev 1.13 的 4.4 倍。分数差距很小，成本与延迟差距很大——这是整份指数最核心的张力。

需要说明的是，来源没有披露 Decision Index 的加权方式与各基准权重，因此 58 分与 61 分的可比性无法独立判断。这是推断：在权重未知的情况下，3 分的差距是否稳定，读者无法从现有材料中确认。

Decider v1.1 27B 的每百万任务成本最低，为 17 美元。Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）也位于能力—成本帕累托前沿。所谓前沿，意味着在这三个点上，很难在不牺牲能力的前提下进一步压低成本。

速度维度上，Celeris-1 Decision 的每任务耗时最快，为 0.06 秒，比 Jev 1.13 的 0.13 秒快一倍以上。来源没有给出 Celeris-1 Decision 的提供方与完整评测得分，因此它在这张图上的位置只能部分还原。

这些成本与耗时数字由发布方给出，未说明具体测量环境与硬件条件，也未披露批量大小与并发口径。因此它们适合用来比较数量级，不适合当作可复现的工程指标。

在知识与推理任务上，几乎所有决策模型在所选答案的各个概率水平上，实际准确率都低于其给出的概率，校准较差。换句话说，模型说“我有八成把握”时，实际正确率达不到八成。

这种校准偏差在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而多数模型在 WildGuardTest（分类）和 When2Call（工具调用）上校准相对较好。短板因此不是均匀分布的，而是集中在知识与推理这两类任务上。

这一点对决策模型的实际用法影响直接：如果下游系统依赖模型输出的概率做阈值判断或路由，那么在知识与推理场景中，这个概率会被系统性高估。来源没有给出校准偏差是否会随版本迭代改善的时间表。

在分类和工具调用任务上，领先决策模型的表现与语言模型相当，但明显更快、更便宜；而在知识与推理上，语言模型大幅领先。这是发布方给出的核心结论，也是整份指数最有操作价值的一条。

把这条结论与校准结果叠在一起看，分工线会更清楚：决策模型在分类与工具调用上既打平又校准较好，在知识与推理上既落后又校准较差。两类任务的差距方向一致，而不是互相抵消。

需要克制的是，“表现相当”的具体差距数值并未在来源中量化。因此这条分工线是方向性的判断，不是可以按分数切分的阈值。

上述全部数据与结论均来自 Artificial Analysis 自身发布的内容，未提供第三方独立验证。这是推断：在只有单一发布方的情况下，排名与分数应被视为该机构的评测结果，而非行业共识。

该指数为 v1.0 版本，发布方表示仍将继续开发，指标与结果可能变化。AA-Omniscience-Decision 为私有数据集，外部无法复核；WildGuardTest 只采用标注者完全一致的 835 行子集并排除持续触发拒答的问题；HLE-MultiChoice 为纯文本多选题。三项筛选叠加，意味着这份成绩单的适用范围比它的标题看起来要窄。

来源也没有说明该指数是否会被第三方复现或采用。在这些条件被补齐之前，更稳妥的读法是：把 Decision Index v1.0 当作一张关于取舍的地图，而不是一把可以直接用于采购决策的尺子。