Artificial Analysis 上线按提供商统计的缓存命中率与每任务成本

Artificial Analysis 宣布，其平台上现已上线按供应商统计的缓存命中率与每任务成本数据。这意味着同一个开放权重模型在不同端点上的实际花费，第一次被放在同一张表里比较。

两项指标各有明确口径。缓存命中率通过运行多轮智能体编程任务、读取各供应商用量响应中的缓存 token 数测得，定义为可缓存输入 token 中被缓存服务的比例。每任务成本则按各供应商的输入、输出、缓存命中与缓存写入价格，结合其测得的缓存命中率计算；为跨供应商标准化，同一模型统一采用其 Intelligence Index 运行中的输入、输出与可缓存 token 数。

之所以值得单独测量，是因为智能体工作负载每一轮都会重发完整对话历史，因此大部分输入 token 是可缓存的。缓存定价与缓存命中率由此成为成本结构中的主导变量，而不是边角参数。

GLM-5.3 (max) 的每任务成本在不同供应商间跨度约 9 倍，从 Makora 的 0.92 美元到 Nebius 的 8.68 美元。这个数字本身足够醒目，但真正有信息量的是它为什么发生。

先排除两个常见解释。缓存命中率方面，Makora 与 Nebius 分别为 98% 和 100%，两者几乎全部可缓存输入都由缓存服务，差距不足以解释 9 倍。输出价格方面，两家对 GLM-5.3 (max) 收取相同的每 100 万 token 4.40 美元。

剩下的变量是输入定价。Makora 每 100 万缓存输入 token 收费 0.10 美元；Nebius 在其共享无服务器端点上不提供缓存输入折扣，全部输入按 1.40 美元计费。在智能体场景下输入 token 占绝对多数，这一项定价差异被放大成每任务成本的量级差。

由此可以推断：在缓存命中率相近时，每任务成本的供应商间差异主要由缓存输入定价而非输出定价或缓存命中率决定。这是从上述数据得出的推断，而非 Artificial Analysis 的原话。

缓存命中率在 21 家供应商（25 个端点）间从 41% 到 100% 不等。分布并不均匀：25 个端点中有 15 个达到 98% 或以上，其中 8 个达到 100%，分别是 Modal、DeepInfra、Parasail、Together AI、DigitalOcean、Nebius、Novita 与 Z AI 的第一方 API。

尾部同样清晰。Multiverse Computing 的缓存命中率最低，为 41%，其次是 Bitdeer 的 50%。

把这两组数字与前面的成本案例放在一起看，可以得到一个有用的判断：对多数主流端点而言，缓存命中率已经不是区分度所在，真正拉开成本的是缓存输入定价。命中率的意义更多体现在少数低命中端点上，以及当工作负载或框架改变缓存前缀时的稳定性。

需要明确的是，上述数据仅来自 Artificial Analysis 单一来源，且为供应商自报口径的测量结果，没有第三方独立验证。缓存命中率与每任务成本仅针对被追踪的模型端点，每任务成本目前也仅对开放权重模型按供应商提供。

测量方法本身带有依赖条件。缓存命中率由多轮智能体编程任务测得，结果依赖具体测试框架与任务设计；Artificial Analysis 未披露测量所用智能体编程任务的具体构成与规模。此外，缓存命中率定义为可缓存输入 token 中被缓存服务的比例，不涵盖不可缓存输入。

成本计算依赖各供应商公开的输入、输出、缓存命中与缓存写入价格，但来源未提供缓存写入价格的具体数值，仅说明计算中使用了该价格。来源也未说明 21 家供应商中未达 98% 命中率的其余端点的具体数值分布，以及除 GLM-5.3 (max) 外其他模型的每任务成本供应商差异幅度。

数据是否随时间或供应商配置变化而更新，来源同样未作说明。因此这些数字更适合作为某一时点的横截面快照，而非长期稳定的定价结论。

在 Artificial Analysis 的发布下，有评论者指出，测试框架对成本数字的影响不亚于供应商：任何重写早期上下文（如系统提示中的时间戳，或编辑旧轮次的压缩）都会破坏缓存前缀，使同一模型在不同智能体下看起来贵数倍。

这条评论值得记录，但必须标注其证据等级。该说法未获 Artificial Analysis 确认，也未给出量化证据，因此只能作为来源主张看待，不能与前述测量数据等量齐观。

不过它与已确认的机制并不冲突：既然缓存命中率被定义为可缓存输入 token 中被缓存服务的比例，那么任何破坏缓存前缀的行为都会直接压低这一比例，进而推高每任务成本。这是从既有定义出发的推断，而非对评论者说法的证实。

对使用开放权重模型构建智能体应用的团队而言，这次发布把一件原本模糊的事变得可比较：同一模型在不同供应商处的每任务成本，可以相差约 9 倍，而差异主要来自缓存输入定价这一项合同条款，而非模型能力或输出价格。

这意味着采购判断的落点需要前移。在缓存命中率普遍达到 98% 以上的端点群体中，比较输出价格或命中率的意义有限；更值得核对的是供应商是否对缓存输入提供折扣，以及该折扣在共享无服务器端点等具体形态下是否适用。

同时也要保留对测量口径的警觉。每任务成本是在统一 token 数假设下、按各供应商公开价格与测得命中率计算出来的标准化结果，它描述的是可比性，而非某个团队在自有工作负载下的真实账单。真实成本还会随框架、上下文管理与任务形态变化。