不确定该跑哪个模型?本指南帮你拨开迷雾。我们为每个显存档位只推荐单一最佳模型——大多数用户应该从它开始的那一个。
4 GB 显存(入门 GPU / 核显)
最佳选择:Phi-4 Mini(3.8B,Q4_K_M)
- 所需显存:3.2 GB
- 速度:RTX 4060 上约 35–50 t/s,核显上约 20 t/s
- Ollama:
ollama run phi4-mini - 为何:微软的 Phi-4 Mini 在推理和编程任务上胜过体量两倍的模型。装进 3.2 GB,还给上下文留出余量。
亚军: Gemma 3 4B(ollama run gemma3:4b)——更擅长创意写作,3.5 GB。
预期表现: 胜任日常聊天、编程帮助和写作的助手。别指望 70B 级别的推理,但对 4 GB 而言,这已经了不起。
8 GB 显存(RTX 4060、RX 7600、笔记本 GPU)
最佳选择:Llama 3.1 8B(Q4_K_M)
- 所需显存:5.8 GB
- 速度:RTX 4060 / 4070 上 55–90 t/s
- Ollama:
ollama run llama3.1:8b - 为何:Meta 的 Llama 3.1 8B 是测试最广泛的 8B 模型。各项任务都强,社区支持充分,在 8 GB 卡上很快。
编程亚军: Qwen 2.5 Coder 7B(ollama run qwen2.5-coder:7b)——最佳纯编程 8B 模型。
推理亚军: DeepSeek R1 8B Distill(ollama run deepseek-r1:8b)——在 8B 中达到近 GPT-4 级别的推理。
12 GB 显存(RTX 4070、RTX 3060 12GB、RX 7700 XT)
最佳选择:Qwen 3 8B(Q8_0)——既然有余量,就以更高质量运行
- 所需显存:9.5 GB
- 速度:60–95 t/s
- Ollama:
ollama run qwen3:8b - 为何:有了 12 GB 显存,你可以用 Q8_0(近乎无损)质量运行 8B 模型,而非 Q4,显著改善输出。
或试试: Gemma 3 12B Q4(ollama run gemma3:12b)——谷歌最好的中等体量模型。
16 GB 显存(RTX 4060 Ti 16GB、RTX 4070 Ti、RX 7800 XT)
最佳选择:Qwen 3 14B(Q4_K_M)
- 所需显存:9.8 GB(给上下文留 6 GB)
- 速度:64–98 t/s
- Ollama:
ollama run qwen3:14b - 为何:14B 模型踩中质量甜点。Qwen 3 14B 是这个体量的顶尖水平——多数任务上胜过 GPT-3.5。
编程亚军: Qwen 2.5 Coder 14B(ollama run qwen2.5-coder:14b)
长文档最佳: Mistral Small 3.1(ollama run mistral-small)——128K 上下文窗口。
24 GB 显存(RTX 4090、RTX 3090、RX 7900 XTX)
最佳选择:DeepSeek R1 32B(Q4_K_M)
- 所需显存:19.5 GB
- 速度:45–55 t/s
- Ollama:
ollama run deepseek-r1:32b - 为何:DeepSeek R1 32B 是一个推理强手,装进 24 GB,在数学、编程和逻辑上比肩 GPT-4o。对 24 GB GPU 用户是变革性的。
替代方案: Qwen 3 32B(ollama run qwen3:32b)——同样装得下,通用任务更强。
32 GB+ 显存(RTX 5090、Apple M4 Max、专业 GPU)
最佳选择:Llama 4 Scout(Q4_K_M)
- 所需显存:12–14 GB(留 18+ GB 给巨大的上下文窗口)
- 速度:RTX 5090 上 175 t/s
- Ollama:
ollama run llama4:scout - 为何:有了 32 GB 显存,你能以极快速度和超大上下文运行 Llama 4 Scout(17B 激活参数,10M 上下文)——对长文档、代码库或多轮对话很有用。
对于 70B 模型: Llama 3.3 70B Q4_K_M 需要 42 GB——可在 Apple M2/M4 Ultra(128–192 GB 统一内存)或双 RTX 4090/5090 配置上运行。
快速参考表
| 显存 | 最佳模型 | Ollama 命令 | 速度 |
|---|---|---|---|
| 4 GB | Phi-4 Mini | ollama run phi4-mini | ~40 t/s |
| 8 GB | Llama 3.1 8B | ollama run llama3.1:8b | ~70 t/s |
| 12 GB | Qwen 3 8B Q8 | ollama run qwen3:8b | ~80 t/s |
| 16 GB | Qwen 3 14B | ollama run qwen3:14b | ~85 t/s |
| 24 GB | DeepSeek R1 32B | ollama run deepseek-r1:32b | ~50 t/s |
| 32 GB+ | Llama 4 Scout | ollama run llama4:scout | 175 t/s |
要估算某个具体模型,请使用VRAM 计算器:查看每种量化和上下文长度所需的显存。