Hugging Face Blog·2026-09-22 08:00· 10 天前精选AI 评分66

Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 为 transformers 加入 GGUF 模型支持，用户可在 Hub 选好 GGUF 检查点后用 from_pretrained 直接加载，在 Apple Silicon Mac 上本地生成，无需额外配置。

推荐理由

Hugging Face 在 transformers 中接入 llama.cpp 的 ggml 量化内核，读者可据此判断本地 GGUF 推理的可用性与边界。

来源：Hugging Face Blog · huggingface.co