ttok 1.0 发布

Simon Willison 于 2026 年 10 月 9 日发布 ttok 1.0，这是一款基于 token 计数和截断文本的工具。此次发布的核心变化并非功能扩张，而是默认分词器的切换：从 GPT-4 改为 GPT-5/GPT-6。Willison 自述，他在发布 ttok 0.4 并通过 uv tool upgrade ttok 升级后，发现新版本默认使用 GPT-4 分词器，而他认为应当默认使用 GPT-5/GPT-6 分词器。

这一判断并非来自 OpenAI 的官方说明。Willison 明确表示，OpenAI 尚未确认 GPT-6 是否使用与 GPT-5 系列相同的分词器，并且存在一个对此表达不满的 issue。换言之，ttok 1.0 的默认值建立在一个尚未获得第一方确认的前提之上。

Willison 引用了 William Liu 的一个 commit，其中报告了一项实验，结论是这些分词器很可能相同。实验的具体结果是：七个 GPT 模型——GPT-5.5、GPT-5.6 Sol/Terra/Luna、GPT-6 Astra/Sol/Luna——均报告 44,794 个 token，并且在全部 31 个测试样本上彼此一致。实验还称，GPT-6 在该语料上未引入输入计数变化。

这组数据构成了 ttok 1.0 默认切换的直接依据。但需要注意其证据层级：这是 William Liu 的实验结论，而非 OpenAI 的官方声明。实验覆盖的 31 个测试样本是否具有代表性，来源中并未说明。

从该实验可以推断，若 GPT-6 与 GPT-5 系列分词器确实相同，则 ttok 默认切换不会改变这些模型上的 token 计数。这一推断的置信度受限于实验本身：它验证的是“很可能相同”，而非“确认相同”。

反向风险同样明确：若 GPT-6 分词器实际不同，ttok 1.0 的默认设置可能导致 token 计数偏差。对于依赖 ttok 进行 token 计数和截断的用户而言，这意味着默认值在 GPT-6 上的准确性取决于一个尚未被 OpenAI 确认的前提。

ttok 1.0 的案例展示了一种常见的工程决策模式：当官方文档缺位时，开发者依据可复现的第三方实验来设定工具默认值。Willison 将切换默认值视为发布 1.0 的合理契机，这一选择本身是务实的。

但默认值具有放大效应。一旦 ttok 1.0 被广泛使用，其默认分词器选择会静默地影响大量下游任务的 token 计数结果。在 OpenAI 确认 GPT-6 分词器之前，这一默认值始终携带一个未被消除的不确定性。