Hugging Face Blog
1 个来源Transformers 现已支持运行 llama.cpp 量化模型
Transformers 现在可以运行 llama.cpp 的量化模型。这意味着用户可以在 Transformers 框架中直接使用 llama.cpp 的量化格式，从而更方便地部署和运行量化后的大语言模型。此举有助于提升模型推理效率并降低资源消耗。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读会员精读
Transformers 直接跑 GGUF：本地推理多了一条路，但边界很清楚
版本 1 · 1 个来源
Hugging Face 让 transformers 能加载 llama.cpp 的 GGUF 量化检查点，初期只面向 Apple Silicon 与 Qwen3.5 架构。它复用 ggml 内核来接近 llama.cpp 的性能，但“接近”是官方说法，完整对比数值并未公开。
- transformers 现已支持从 Hub 选取 GGUF 检查点，用 from_pretrained 加载后在本地生成。
- GGUF 把权重、分词器信息和可选聊天模板打包进单个文件，并支持不同量化级别。
- 初期重点是 Apple Silicon 上的本地推理，并首先从 Qwen3.5 架构开始。
展开章节目录这次更新到底改了什么
这次更新到底改了什么
Hugging Face 宣布 transformers 现已支持高效运行 GGUF 模型：用户可以从 Hub 选取 GGUF 检查点，通过 from_pretrained 加载，然后在本机生成。加载时只需把 Hub 的 model_id 与文件名作为 gguf_file 传给 from_pretrained，不需要额外配置。
GGUF 由 llama.cpp 团队开发，把模型权重与元数据（含分词器信息和可选聊天模板）打包进单个文件，并支持不同量化级别。除 llama.cpp 团队以 ggml-org 名义在 Hub 分享量化检查点外，Unsloth、LM Studio Community 和 bartowski 等发布者也提供多种量化的 GGUF 检查点；GGUF 模型已被下载数百万次。
需要强调的是，这次支持的范围有明确边界：初期重点是 Apple Silicon 上的本地推理，并首先从 Qwen3.5 架构开始。来源没有说明该支持何时或是否扩展到其他硬件或模型架构。
为什么是 GGUF，而不是又造一个格式
GGUF 已经是本地推理的事实格式之一。Hugging Face 在文中把 llama.cpp 的推理引擎描述为 Ollama、LM Studio、Jan 等本地 AI 工具的底座，并提到 MLX 等项目共同让本地推理成为日常可选项。transformers 选择兼容这一格式，而不是另起炉灶，等于把已有的量化检查点生态直接接进自己的 API。
量化带来的收益可以用文件大小直观衡量。以 Unsloth 的 Qwen3.5-4B 为例：BF16 变体为 8.42 GB，作为未量化参考；Q6_K 为 3.53 GB，精度高于更小的变体；Q5_K_M 为 3.14 GB，是大小与精度之间的折中；Q4_K_M 为 2.74 GB，被官方建议作为本地推理的实用起点。官方建议先试 Q4_K_M，内存更充裕时再试 Q5_K_M 或 Q6_K。
但量化不是免费的。官方明确说，更激进的量化能帮更大的模型塞进内存，质量权衡取决于模型与任务，应在实际要做的工作上评估。来源没有给出量化对模型质量影响的具体评测数据。
可信度边界
本文事实主要来自 Hugging Face 官方博客（一手来源）。其中“transformers 在三个检查点上接近 llama.cpp”属于官方说法，来源未展示完整图表数值，无法独立核实；量化对模型质量的影响、内核获取失败的条件与频率、正式发布时间、向其他硬件或架构扩展的计划，来源均未说明。
主报道
Hugging Face Blog
主报道来源