教程 1：如何为你的硬件选择合适的本地 LLM

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

选择本地大语言模型（LLM）就像选车。你需要在性能（速度）、容量（参数量）和燃油效率（显存）之间取得平衡。本指南将详细拆解如何为你的配置挑选最合适的模型。

本指南内容

• 1. 黄金法则：显存为王
• 2. 参数量详解
• 3. 量化：神奇的缩小射线
• 4. 使用场景推荐
• 5. 下一步

选择本地大语言模型（LLM）就像选车。你需要在性能（速度）、容量（参数量）和燃油效率（显存）之间取得平衡。本指南将详细拆解如何为你的配置挑选最合适的模型。

1. 黄金法则：显存为王

与云端模型不同，本地 LLM 完全运行在你的显存（VRAM）中。如果模型比显存更大，就会溢出到系统内存（DDR4/DDR5），速度会慢 10–50 倍。

快速经验法则：

• 8GB 显存： 运行 7B 或 8B 模型（量化到 Q4_K_M）。
• 12GB 显存： 运行 12B 或 14B 模型（如 Mistral NeMo、Qwen 14B）。
• 24GB 显存： 运行 27B–35B 模型（Gemma 2 27B、Command R），或高度量化的 70B 模型（Q2_K）。
• Mac（统一内存）： Apple Silicon 使用统一内存。如果你有 16GB 内存，实际可用于模型的约为 11GB。

2. 参数量详解

模型名称中的数字（如 Llama 3 8B）指的是参数量（单位：十亿）。

• < 4B（小型）： 适合手机或树莓派。速度快但智能程度较低。（示例：Phi-3.5）
• 7B–9B（中型）： 大多数用户的甜蜜点。擅长日常对话和简单编程。（示例：Llama 3.1 8B、Gemma 2 9B）
• 12B–35B（大型）： 智能程度高，推理更强。需要 12GB 以上显存。（示例：Qwen 2.5 14B、Gemma 2 27B）
• 70B+（超大型）： 研究级智能。在消费级硬件上运行较慢。（示例：Llama 3.1 70B）

3. 量化：神奇的缩小射线

模型以 16 位精度（FP16）训练，这让它们体积庞大。 量化将精度降至 4 位（Q4）甚至更低，在质量损失极小的情况下缩小文件体积。

• Q4_K_M： 黄金标准。体积与智能的良好平衡。
• Q8_0： 几乎无损，但体积大。
• Q2_K： 高度压缩，会有明显的“脑损伤”。

4. 使用场景推荐

• 编程： 选择 Qwen 2.5 或 DeepSeek Coder，它们在代码仓库上做过微调。
• 角色扮演： 选择 Mistral 或 Hermes 等专门的“微调版”。
• RAG（与文档对话）： 选择具有大上下文窗口（128k）的模型，如 Llama 3.1 或 Mistral NeMo。

5. 下一步

前往本站的 硬件检查 标签页，自动找到最适合你配置的模型。

← 所有指南 | 检查 GPU 兼容性