教程 6：量化深度详解

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

量化是降低模型权重精度的过程，用以节省显存（VRAM）并提升速度。理解它有助于你在质量、速度和硬件要求之间做出正确的取舍。

本指南内容

• 量化：质量 vs 显存（7B 模型）
• 各种格式
• 命名规范（GGUF）
• 选择合适的量化

量化是降低模型权重精度的过程，用以节省显存（VRAM）并提升速度。理解它有助于你在质量、速度和硬件要求之间做出正确的取舍。

量化：质量 vs 显存（7B 模型）

各种格式

GGUF（GPT-Generated Unified Format）

当前 CPU 与 Apple Silicon 推理的标准格式。它允许模型在 CPU 内存和 GPU 显存之间拆分。

• 最适合： Mac 用户、显存较低的用户。
• 工具： Ollama、LM Studio。

EXL2（ExLlamaV2）

NVIDIA GPU 上最快的格式。它要求模型完全装入显存。

• 最适合： 追求极致速度的 RTX 3090/4090 用户。

AWQ（Activation-aware Weight Quantization）

一种稳健的格式，被 vLLM 等众多服务引擎支持。

命名规范（GGUF）

• Q2_K： 2 位。困惑度损失高。仅在小硬件上运行超大模型时使用。
• Q3_K_M： 3 位。对 70B 模型来说尚可。
• Q4_K_M： 4 位。甜蜜点。 在大多数任务上与 FP16 难以区分。
• Q5_K_M： 5 位。略好一点，也略慢一点。
• Q6_K / Q8_0： 收益递减。仅在显存有富余时使用。

选择合适的量化

场景	推荐格式	原因
显存充足（模型轻松装下）	Q8_0	近乎无损，速度快
显存紧张（模型勉强装下）	Q4_K_M	每 GB 质量最优
模型部分溢出到 CPU	Q4_K_M 或 Q3_K_M	尽量减少不在 GPU 上的层
硬件非常有限（树莓派、老 GPU）	Q2_K 或 Q3_K_M	唯一装得下的选项
追求最高精度（研究）	FP16 或 Q8_0	无压缩伪影

← 所有指南 | 检查 GPU 兼容性