SGLang、Qwen 与 NVIDIA 合作将 NVIDIA Blackwell 的 NVFP4 格式集成到 SGLang 的分页 KV Cache 中，在 4-bit 精度下同时保持精度和性能。实现按 prefill、extend 和 decode 三条注意力路径设计，decode 阶段直接读取 NVFP4 并在 kernel 内即时反量化。测试显示峰值 decode 吞吐提升约 26-30%，但小模型在 SWE-bench Verified 上出现 1.60 个百分点的退化。
SynthePulse Insight · AI 深度解读会员精读
版本 1 · 1 个来源
SGLang、Qwen 与 NVIDIA 把 Blackwell 的 NVFP4 格式接进 SGLang 分页 KV Cache。官方博客给出的账本很诚实：容量约 1.78×、长上下文 decode 最高提速 78%，但小模型在 SWE-bench Verified 上退了 1.60 个百分点，而且全局缩放还没校准。
朴素 4-bit 量化的痛点是动态范围太窄。NVFP4 的解法是两级缩放：数值本身用 4-bit E2M1（1 符号 + 2 指数 + 1 尾数），每 16 个值配一个 FP8（E4M3）块级缩放，整个张量再配一个 FP32 全局缩放。
存储账因此不是理论上的 2×。16 个值打包占 8 字节，加上 1 字节块缩放共 9 字节，而 FP8 同样 16 个值要 16 字节，即约为 FP8 占用的 56.25%，理想容量比约 1.78×。那 1 字节块缩放就是为精度付出的税。
这也是理解后续所有性能数字的基准：容量收益的上限由格式本身决定，而不是由 kernel 优化决定。
实现接入 SGLang 的分页 KV Cache，按阶段分三条路径。初始 prefill 阶段注意力直接用 BF16 Q × FP8 K/V 计算，同时把 KV 从 FP8 量化成 NVFP4 写入持久缓存；此阶段不读缓存，所以没有反量化开销。
分块 prefill/extend 阶段把缓存前缀 gather 出来，反量化到一个跨层共享的 FP8 workspace，与当前块的 KV 拼在一起做 FP8 注意力，算完再把本块量化进 NVFP4 缓存；共享 workspace 是为了控制额外显存开销。
Decode 是最关键的一环。Decode 访存受限，若先反量化再计算就多一次完整显存往返，因此 kernel 直接读 NVFP4 并在内部即时反量化：打包的 K/V tile 和 E4M3 块缩放进 shared memory，用 cvt.rn.bf16x2.e2m1x2 指令在寄存器里成对转换，全局缩放通过 BMM 的 scaling 参数传入，计算全程 BF16。
这套设计的取舍可以概括为：prefill 计算受限，可以容忍一次额外的量化写入；decode 访存受限，必须做到读多少算多少。
本文全部事实、数字与结论均取自 SGLang/Qwen/NVIDIA 官方博客及其转述材料，未引入外部信息，也未见第三方独立复现。精度与性能数字属于官方自测口径；其中大模型几乎无差异、小模型退化幅度、等并发与等容量吞吐提升、TTFT 变化、AgentX 分水岭等均为来源方陈述，本文按 source_claim 处理，未升格为已确认事实。
主报道
主报道来源