本地 LLM 的显存需求：完全指南（2026）

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

最后更新：2026 年 6 月 —— 显存（VRAM，Video RAM）是运行本地 LLM 最重要的单一因素。本指南准确说明你需要多少显存、背后的计算方法，以及哪些 GPU 命中了甜蜜点。

本指南内容

最后更新：2026 年 6 月 —— 显存（VRAM，Video RAM）是运行本地 LLM 最重要的单一因素。本指南准确说明你需要多少显存、背后的计算方法，以及哪些 GPU 命中了甜蜜点。

显存计算公式

一个模型的显存需求主要由以下因素决定：

VRAM needed ≈ (Parameters × Bytes per parameter) + Context buffer (~2GB)

常见量化格式及其每参数字节数：

格式每权重位数每十亿参数字节数相对 FP16 的质量
FP16（无量化）16 位2.0 GB100%（基准）
Q8_08 位1.0 GB约 99%
Q4_K_M4 位0.5 GB约 95%
Q2_K2 位0.25 GB约 85%

示例： Llama 3.1 8B 在 Q4_K_M 下 = (8 × 0.5) + 2 = 6 GB 显存

显存是如何被占用的（8GB GPU 上的 8B 模型）

各模型显存需求速览

模型规模Q4_K_M 显存Q8_0 显存最佳 GPU 档位
Qwen 3.5 0.8B0.8B~1 GB~2 GB任何设备（集成显卡）
Qwen 3.5 2B2B~2 GB~3 GB任何 GPU（4GB+）、智能手机
Gemma 4 E2B2B~3 GB~5 GB任何 GPU（4GB+）
Qwen 3.5 4B4B~3.5 GB~6 GB任何 GPU（4GB+）
Gemma 3 4B4B3.8 GB6 GB任何 GPU（4GB+）
Phi-4 Mini3.8B4 GB5.5 GB任何 GPU（4GB+）
Gemma 4 E4B4B（高效版）~5.5 GB~9 GBRTX 4060 8GB、Mac M 系列
Llama 3.1 8B8B6 GB9 GBRTX 4060 8GB
Qwen 3.5 9B9B~7 GB~11 GBRTX 4060 8GB（勉强）/ RTX 4060 Ti
Cogito v1 8B8B~5 GB~8 GBRTX 4060 8GB
Gemma 3 12B12B8.1 GB13 GBRTX 4060 Ti / 4070
Qwen 2.5 14B14B9.5 GB15 GBRTX 4070 12GB
Cogito v1 14B14B~9 GB~14 GBRTX 4070 12GB
Devstral-2 22B22B~13 GB~22 GBRTX 3090 / 4090
Llama 4 Scout17B 激活（MoE）10.5 GB18 GBRTX 4080 / 4090
Qwen 3.5 27B27B~17 GB~28 GBRTX 3090 / 4090 24GB
Gemma 3 27B27B16.5 GB28 GBRTX 4080 / 4090
Gemma 4 26B-A4B26B（4B 激活，MoE）~16 GB~27 GBRTX 3090 / 4090
Gemma 4 31B31B~18 GB~31 GBRTX 3090 / 4090
Nemotron Cascade 2 30B30B（混合 SSM）~17 GB~30 GBRTX 4060 Ti 16GB
Cogito v1 32B32B~20 GB~32 GBRTX 3090 / 4090 24GB
DeepSeek R1 32B32B20 GB33 GBRTX 4090 24GB
Llama 4 Maverick17B 激活（MoE）24 GB—RTX 4090 / Mac M4 Max
Qwen 3.5 35B-A3B35B（3B 激活，MoE）~20 GB~35 GBRTX 4090 24GB
Llama 3.3 70B70B40 GB71 GB多 GPU 或 Mac Ultra
Cogito v1 70B70B~40 GB~70 GB双 RTX 3090 / Mac M4 Ultra
Nemotron Cascade 2 70B70B（混合 SSM）~40 GB~70 GB双 RTX 3090 / Mac M4 Ultra
Qwen 3.5 122B-A10B122B（10B 激活，MoE）~68 GB—多 GPU 集群
GPT-oss 120B120B~65 GB—双 RTX 3090 / A100 80GB
Devstral-2 123B123B（40B 激活，MoE）~68 GB—双 GPU 工作站
DeepSeek V3.2 685B685B（37B 激活，MoE）~370 GB—多 GPU 集群
Qwen 3.5 397B-A17B397B（17B 激活，MoE）~220 GB—多 GPU 集群
GLM-5 744B744B（40B 激活，MoE）~400 GB—仅数据中心
Kimi K2.5 1T1T+~550 GB—仅 API

> 提示： 像 Llama 4 Scout 和 Qwen 3.5 35B-A3B 这样的 MoE（混合专家）模型，其显存占用远低于其总参数量所暗示的水平——每个 token 只运行激活的参数。

Apple Silicon：统一内存优势

Apple Silicon（M1/M2/M3/M4）使用在 CPU 和 GPU 之间共享的统一内存。这意味着：

在 Apple Silicon 上，Ollama 会自动将统一内存的 70% 作为有效显存预算。

显存不够时会发生什么？

如果模型装不进显存，它会溢出到系统内存（CPU 卸载）：

CPU 卸载对低延迟任务（如简短提问）尚可接受，但对长文档则令人抓狂。

GPU 显存对比（消费级显卡，2026）

GPU显存价格（估）最佳模型档位
RTX 4060 8GB8 GB~$300Llama 3.1 8B、Qwen 3.5 9B、Gemma 4 E4B
RX 7600 8GB8 GB~$250Llama 3.1 8B（AMD 替代方案）
RTX 4060 Ti 16GB16 GB~$450Gemma 4 26B-A4B、Nemotron Cascade 2 30B
RTX 4070 12GB12 GB~$550Gemma 3 12B、Devstral-2 22B
RTX 4070 Ti Super 16GB16 GB~$750Gemma 4 31B、Qwen 3.5 27B
RX 7900 XTX 24GB24 GB~$800DeepSeek R1 32B、Qwen 3.5 35B-A3B
RTX 4090 24GB24 GB~$1,600Cogito v1 32B、Qwen 3.5 35B-A3B、Llama 4 Maverick
RTX 5090 32GB32 GB~$2,000Qwen 3.5 27B Q8、Llama 3.3 70B（部分）
双 RTX 309048 GB~$1,400Llama 3.3 70B、Cogito v1 70B
双 RTX 409048 GB~$3,200Llama 3.3 70B Q4，55+ t/s

→ 完整 GPU 选购指南 | → 检查你的硬件

要点速览（2026 更新）

常见问答

Llama 3 70B 需要多少显存？ Llama 3 70B 在 Q4_K_M 下约需 40–43 GB 显存。可在两块 RTX 3090/4090（合计 48 GB）上运行，或使用 64 GB+ 统一内存的 Apple Silicon。

上下文长度如何影响显存占用？ 上下文长度通过 KV 缓存增加显存占用。在 4k 上下文下，一个 7B 模型额外占用约 0.3 GB；在 32k 下约 2.5 GB；在 128k 下约 10 GB。

如果模型装不进显存会怎样？ Ollama 会自动把部分层卸载到 CPU/内存。24 GB GPU 上的 70B 模型会以 3–8 token/秒运行，而非 30+。可通过 num_gpu 参数控制。

能否同时使用两块 GPU 运行本地 LLM？ 可以——Ollama 和 llama.cpp 通过张量并行支持多 GPU。两块 RTX 3090 提供 48 GB 显存，足以运行 Q4 的 Llama 3 70B。不需要 NVLink。

Q4 量化的质量够好吗？ Q4_K_M 是社区标准——在大多数任务上与 Q8 难以区分。相对 FP16，困惑度上升约 0.2–0.5 点。Q2 在复杂推理上会有明显退化。

← 所有指南 | 检查 GPU 兼容性