Shopify 推出 Gisting：将 LLM 系统提示压缩为学习令牌

Gisting 的核心思想是将冗长的系统提示压缩为一组更短的“gist”令牌，这些令牌是模型可学习的嵌入表示。与传统的提示摘要不同，gist 令牌并非对原始提示的概括，而是经过训练、旨在让模型行为尽可能接近其看到原始提示时的表现。

训练过程分为两步：教师阶段，模型使用真实提示运行，得到响应的教师 logits；学生阶段，模型使用 gist 令牌运行，得到学生 logits。随后通过最小化教师与学生 logits 之间的 KL 散度来训练 gist 令牌，直到学生的预测与教师紧密匹配。

Shopify 报告称，在其 Sidekick GraphQL agent 上应用 Gisting 后，系统提示从约 6000 个令牌压缩至 1500 个 gist 令牌，上下文规模缩减 4:1，且未牺牲预测质量。

在 350 RPM 的负载下，TTFT 中位数从 438ms 降至 354ms，端到端请求延迟中位数从 6.8s 降至 4.2s，吞吐量从 20.2 QPS 提升至 23.4 QPS。这些改进使 Shopify 能够减少分配的 GPU 数量。

训练完成后，gist 嵌入被直接写入模型的嵌入矩阵，并将新的 gist 令牌注册为分词器中的特殊令牌。推理时，模型像往常一样加载和运行，无需自定义注意力掩码、额外编码器或特殊服务路径。

Gisting 与前缀缓存等优化技术互补。前缀缓存避免了为缓存的提示序列重新计算 KV 张量，但模型在解码阶段仍需处理这些缓存张量；Gisting 通过用更短的 gist 令牌序列替换长提示，进一步减少了这一开销。Shopify 将两者结合使用，效果叠加。

本文信息主要来自 InfoQ 对 Shopify 工程博客的报道，属于二手来源。报道中引用了 Shopify 的官方声明和具体数据，但未提供原始博客链接或独立验证。

报道提到 Gisting 基于 2022 年论文《Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models》，但未提供论文细节。此外，报道提及“autosearch”在调优 Gisting 过程中的作用，但未展开说明，具体实现细节需参考原始文章。