24 GB 显存的最佳大模型
选择你的显存大小。我们按任务为推荐量化下能放得下的所有收录模型排名，并展示升一档能解锁什么。
作者： Jakub Rusinowski · 最后更新：
显存档位24 GB例如 RX 7900 XTX, RTX 3090, RTX 4090
24 GB 下各任务的最佳模型
评分为 0–100 的任务质量分；速度按 RX 7900 XTX 估算。
编程完整排名 →
1Qwen 2.5 Coder 32BQ4_K_M · 19.3 GB992Codestral 22BQ4_K_M · 13.4 GB973Qwen 3 32BQ4_K_M · 19.8 GB96推理完整排名 →
1Llama 3.3 70B InstructQ2_K_XS (Tight) · 20.2 GB982Qwen 3 32BQ4_K_M · 19.8 GB973DeepSeek R1 Distill Qwen 32BQ4_K_M · 19.3 GB96放得下的最强模型
按逻辑与编程排名的前 15 个
| 模型 | 显存 · 标记 = 24 GB | 显存 | 在 RX 7900 XTX 上的速度（估算） | 评分 |
|---|---|---|---|---|
| Qwen 2.5 Coder 32B Qwen 2.5 Family · Q4_K_M | 19.3 GB | ~28 tok/s | 97 | |
| Llama 3.3 70B Instruct Llama 3.3 · Q2_K_XS (Tight) | 20.2 GB | ~26 tok/s | 97 | |
| Qwen 3 32B Qwen 3 · Q4_K_M | 19.8 GB | ~27 tok/s | 97 | |
| DeepSeek R1 Distill Qwen 32B DeepSeek R1 · Q4_K_M | 19.3 GB | ~28 tok/s | 96 | |
| Qwen 2.5 14B Instruct Qwen 2.5 Family · Q4_K_M | 8.5 GB | ~55 tok/s | 95 | |
| Qwen 3 14B Qwen 3 · Q4_K_M | 8.9 GB | ~53 tok/s | 94 | |
| Codestral 22B Codestral · Q4_K_M | 13.4 GB | ~38 tok/s | 93 | |
| Qwen 3.6 35B-A3B Qwen 3.6 · Q4_K_M | 21.1 GB | ~151 tok/s | 93 | |
| DeepSeek R1 Distill Qwen 14B DeepSeek R1 · Q4_K_M | 8.5 GB | ~55 tok/s | 92 | |
| Phi-4 (14B) Phi-4 Family · Q4_K_M | 8.5 GB | ~54 tok/s | 92 | |
| Gemma 4 31B Gemma 4 · Q4_K_M | 18.7 GB | ~28 tok/s | 92 | |
| Gemma 3 27B Instruct Gemma 3 · Q4_K_M | 16.3 GB | ~32 tok/s | 92 | |
| GLM-Z1 32B (Reasoning) GLM-4.7 / GLM-Z1 · Q4_K_M | 19.3 GB | ~28 tok/s | 92 | |
| Qwen 3.5 35B-A3B Qwen 3.5 · Q4_K_M | 21.1 GB | ~126 tok/s | 92 | |
| Mistral Small 3.1 24B Mistral Small 3.1 · Q4_K_M | 14.2 GB | ~36 tok/s | 91 |
FAQ
What LLMs run well with 24 GB VRAM?
Qwen 2.5 Family, Llama 3.3, Qwen 3, DeepSeek R1, Qwen 2.5 Family all fit in 24 GB VRAM.
Which GPUs have 24 GB VRAM?
AMD Radeon RX 7900 XTX, NVIDIA GeForce RTX 3090, NVIDIA GeForce RTX 4090, NVIDIA GeForce RTX 3090 Ti.
各档位一览
| 显存 | 可放下 | 综合最佳 | 能放下的最大模型 |
|---|---|---|---|
| 4 GB | 39 | Shieldstral 1.0 3B | Gemma 3 4B Instruct · 2.4 GB |
| 6 GB | 67 | Granite 3.0 8B Instruct | Qwen 2.5 VL 7B Instruct · 5 GB |
| 8 GB | 88 | Granite 3.0 8B Instruct | Falcon 3 10B Instruct · 6.2 GB |
| 10 GB | 101 | Qwen 2.5 14B Instruct | Qwen 3 14B · 8.9 GB |
| 12 GB | 103 | Qwen 2.5 14B Instruct | StarCoder 2 15B · 9.4 GB |
| 16 GB | 113 | Qwen 2.5 14B Instruct | Mistral Small 3 (24B) · 14.5 GB |
| 20 GB | 131 | Qwen 2.5 14B Instruct | Gemma 4 31B · 18.7 GB |
| 24 GB | 156 | Qwen 2.5 Coder 32B | Qwen 3.6 35B-A3B · 21.1 GB |
| 32 GB | 157 | Qwen 2.5 Coder 32B | Qwen 3.6 35B-A3B · 21.1 GB |
| 48 GB | 163 | Qwen 2.5 72B Instruct | Qwen 2.5 VL 72B Instruct · 44.3 GB |
| 64 GB | 168 | Qwen 2.5 72B Instruct | Qwen3-Coder-Next (80B-A3B MoE) · 48.3 GB |
| 80 GB | 178 | Qwen 2.5 72B Instruct | Qwen 3.5 122B-A10B · 73.7 GB |
购买此硬件 AMD Radeon RX 7900 XTX 24GB — 24 GB VRAM · 355 W board power立即云端部署 RunPod 上的 RTX 4090 — 低至 $0.34/小时 · 价格核实于 2026-07
或在 Vast.ai 比较，低至 $0.35/小时 (typical low · varies)
作为亚马逊联盟成员，我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金，您无需额外付费。