按显存划分的最佳本地大模型

16 GB 显存的最佳大模型

选择你的显存大小。我们按任务为推荐量化下能放得下的所有收录模型排名,并展示升一档能解锁什么。

作者: Jakub Rusinowski · 最后更新:

显存档位16 GB例如 RX 9060 XT 16GB, Intel Arc Pro B50, RTX 5060 Ti 16GB
放得下的模型113完全载入显存
综合最佳95Qwen 2.5 14B Instruct
能放下的最大模型14.5 GBMistral Small 3 (24B)

16 GB 下各任务的最佳模型

评分为 0–100 的任务质量分;速度按 RX 9060 XT 16GB 估算。

放得下的最强模型

按逻辑与编程排名的前 15 个

模型显存在 RX 9060 XT 16GB 上的速度(估算)评分
Qwen 2.5 14B Instruct
Qwen 2.5 Family · Q4_K_M
8.5 GB~22 tok/s95
Qwen 3 14B
Qwen 3 · Q4_K_M
8.9 GB~22 tok/s94
Codestral 22B
Codestral · Q4_K_M
13.4 GB~15 tok/s93
DeepSeek R1 Distill Qwen 14B
DeepSeek R1 · Q4_K_M
8.5 GB~23 tok/s92
Phi-4 (14B)
Phi-4 Family · Q4_K_M
8.5 GB~22 tok/s92
Mistral Small 3.1 24B
Mistral Small 3.1 · Q4_K_M
14.2 GB~14 tok/s91
InternLM 3 20B Instruct
InternLM 3 · Q4_K_M
12.1 GB~16 tok/s91
Mistral Small 3 (24B)
Mistral Family · Q4_K_M
14.5 GB—90
Granite 3.0 8B Instruct
Granite 3.0 · Q4_K_M
4.8 GB~36 tok/s90
Ternary Bonsai 27B
Bonsai 27B · Ternary (1.58-bit, ~1.71 bpw)
5.8 GB~30 tok/s90
Qwen 2.5 7B Instruct
Qwen 2.5 Family · Q4_K_M
4.6 GB~40 tok/s89
Qwen 3 8B
Qwen 3 · Q4_K_M
5 GB~35 tok/s89
DeepSeek R1 Distill Llama 8B
DeepSeek R1 · Q4_K_M
4.8 GB~36 tok/s89
Mistral NeMo 12B
Mistral Family · Q4_K_M
7.2 GB~26 tok/s88
Devstral Small 2 24B
Devstral · Q4_K_M
14.5 GB~14 tok/s87

FAQ

What LLMs run well with 16 GB VRAM?

Qwen 2.5 Family, Qwen 3, Codestral, DeepSeek R1, Phi-4 Family all fit in 16 GB VRAM.

Which GPUs have 16 GB VRAM?

AMD Radeon RX 9060 XT 16GB, Intel Arc Pro B50, NVIDIA GeForce RTX 5060 Ti 16GB, NVIDIA GeForce RTX 4060 Ti 16GB.

各档位一览

显存可放下综合最佳
4 GB39Shieldstral 1.0 3B
6 GB67Granite 3.0 8B Instruct
8 GB88Granite 3.0 8B Instruct
10 GB101Qwen 2.5 14B Instruct
12 GB103Qwen 2.5 14B Instruct
16 GB113Qwen 2.5 14B Instruct
20 GB131Qwen 2.5 14B Instruct
24 GB156Qwen 2.5 Coder 32B
32 GB157Qwen 2.5 Coder 32B
48 GB163Qwen 2.5 72B Instruct
64 GB168Qwen 2.5 72B Instruct
80 GB178Qwen 2.5 72B Instruct
购买此硬件 AMD Radeon RX 9060 XT 16GB — 16 GB VRAM · 160 W board power立即云端部署 RunPod 上的 RTX 4090 — 低至 $0.34/小时 · 价格核实于 2026-07

或在 Vast.ai 比较,低至 $0.35/小时 (typical low · varies)

作为亚马逊联盟成员,我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金,您无需额外付费。