NVIDIA台式机 GPU上一代

NVIDIA RTX A5000 运行本地大模型

作者： Jakub Rusinowski · 最后更新： 2026年10月7日

凭借 24 GB GDDR6、768 GB/s 带宽，RTX A5000 可在 Q4_K_M、8K 上下文下运行目录中的 118 个模型。能放下的最大模型是 Qwen 3 32B（约 22.8 GB），首选是 Laguna XS 2.1 33B-A3B，速度 69–133 tok/s。

24 GB GDDR6（带 ECC），768 GB/s，230 W。

可在 RTX A5000 上运行的模型

Q4_K_M，8K 上下文，可用 24 GB。按质量和速度排序。

模型	显存	速度	适配
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	69–133 tok/s	可运行
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	39–75 tok/s	可运行
Olmo 3 32B Olmo 3	20.1 GB	15–28 tok/s	可运行
Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2	19.9 GB	65–126 tok/s	可运行
Gemma 4 31B Gemma 4	19.5 GB	15–29 tok/s	可运行
Qwen 3 30B-A3B (MoE) Qwen 3	20 GB	85–162 tok/s	可运行
Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder	20 GB	85–162 tok/s	可运行
GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1	18.9 GB	70–135 tok/s	可运行
Granite 4.1 30B IBM Granite 4.1	18.9 GB	16–30 tok/s	可运行
Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni	18.9 GB	70–135 tok/s	可运行
North Mini Code 1.0 30B-A3B North Mini Code	18.9 GB	70–135 tok/s	可运行
Granite 4.2 30B IBM Granite 4.2	18.9 GB	16–30 tok/s	可运行

显示 118 个中的 12 个

直接购买显卡，或按小时租用同等显存的 GPU，先试用模型。

作为亚马逊联盟成员，我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金，您无需额外付费。

Llama 3.1 8B，Q4_K_M。估算区间。计算方法

规格更新于 2026-10-07。

最适合used 24 GB

可以。它有 24 GB（模型可用 24 GB），在 Q4_K_M、8K 上下文下可运行目录中的 118 个模型；最大的是 Qwen 3 32B，约需 22.8 GB。

估计它在 Q4_K_M 下运行 Llama 3.1 8B 的速度为 51–98 tok/s。Llama 3.3 70B 放不下：约需 44 GB，而可用只有 24 GB。这些是基于内存带宽的模型估算，并非实测；公式见方法说明页。

能放下的最佳模型包括：Laguna XS 2.1 33B-A3B、Granite 4.0 Small-H 32B-A9B、Olmo 3 32B、Nemotron-Cascade 2 30B-A3B、Gemma 4 31B。

关于这张卡的更多内容

工具

指南