按显存划分的最佳本地大模型

32 GB 显存的最佳大模型

选择你的显存大小。我们按任务为推荐量化下能放得下的所有收录模型排名,并展示升一档能解锁什么。

作者: Jakub Rusinowski · 最后更新:

显存档位32 GB例如 Intel Arc Pro B70, AI PRO R9700, RTX 5090
放得下的模型157完全载入显存
综合最佳97Qwen 2.5 Coder 32B
能放下的最大模型21.1 GBQwen 3.6 35B-A3B

32 GB 下各任务的最佳模型

评分为 0–100 的任务质量分;速度按 Intel Arc Pro B70 估算。

放得下的最强模型

按逻辑与编程排名的前 15 个

模型显存在 Intel Arc Pro B70 上的速度(估算)评分
Qwen 2.5 Coder 32B
Qwen 2.5 Family · Q4_K_M
19.3 GB~17 tok/s97
Llama 3.3 70B Instruct
Llama 3.3 · Q2_K_XS (Tight)
20.2 GB~16 tok/s97
Qwen 3 32B
Qwen 3 · Q4_K_M
19.8 GB~16 tok/s97
DeepSeek R1 Distill Qwen 32B
DeepSeek R1 · Q4_K_M
19.3 GB~17 tok/s96
Qwen 2.5 14B Instruct
Qwen 2.5 Family · Q4_K_M
8.5 GB~34 tok/s95
Qwen 3 14B
Qwen 3 · Q4_K_M
8.9 GB~33 tok/s94
Codestral 22B
Codestral · Q4_K_M
13.4 GB~23 tok/s93
Qwen 3.6 35B-A3B
Qwen 3.6 · Q4_K_M
21.1 GB~107 tok/s93
DeepSeek R1 Distill Qwen 14B
DeepSeek R1 · Q4_K_M
8.5 GB~34 tok/s92
Phi-4 (14B)
Phi-4 Family · Q4_K_M
8.5 GB~34 tok/s92
Gemma 4 31B
Gemma 4 · Q4_K_M
18.7 GB~17 tok/s92
Gemma 3 27B Instruct
Gemma 3 · Q4_K_M
16.3 GB~19 tok/s92
GLM-Z1 32B (Reasoning)
GLM-4.7 / GLM-Z1 · Q4_K_M
19.3 GB~17 tok/s92
Qwen 3.5 35B-A3B
Qwen 3.5 · Q4_K_M
21.1 GB~87 tok/s92
Mistral Small 3.1 24B
Mistral Small 3.1 · Q4_K_M
14.2 GB~22 tok/s91

FAQ

What LLMs run well with 32 GB VRAM?

Qwen 2.5 Family, Llama 3.3, Qwen 3, DeepSeek R1, Qwen 2.5 Family all fit in 32 GB VRAM.

Which GPUs have 32 GB VRAM?

Intel Arc Pro B70, AMD Radeon AI PRO R9700, NVIDIA GeForce RTX 5090, Intel Arc Pro B65.

各档位一览

显存可放下综合最佳
4 GB39Shieldstral 1.0 3B
6 GB67Granite 3.0 8B Instruct
8 GB88Granite 3.0 8B Instruct
10 GB101Qwen 2.5 14B Instruct
12 GB103Qwen 2.5 14B Instruct
16 GB113Qwen 2.5 14B Instruct
20 GB131Qwen 2.5 14B Instruct
24 GB156Qwen 2.5 Coder 32B
32 GB157Qwen 2.5 Coder 32B
48 GB163Qwen 2.5 72B Instruct
64 GB168Qwen 2.5 72B Instruct
80 GB178Qwen 2.5 72B Instruct
购买此硬件 NVIDIA GeForce RTX 5090 32GB — 32 GB VRAM · 575 W board power立即云端部署 RunPod 上的 NVIDIA A40 — 低至 $0.44/小时 · 价格核实于 2026-08

或在 Vast.ai 比较

作为亚马逊联盟成员,我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金,您无需额外付费。