NVIDIA台式机 GPU当前在售

NVIDIA A10 运行本地大模型

作者： Jakub Rusinowski · 最后更新： 2026年10月7日

凭借 24 GB GDDR6、600 GB/s 带宽，A10 可在 Q4_K_M、8K 上下文下运行目录中的 118 个模型。能放下的最大模型是 Qwen 3 32B（约 22.8 GB），首选是 Laguna XS 2.1 33B-A3B，速度 57–109 tok/s。

24 GB GDDR6，600 GB/s，150 W。不是 A100。常见于云实例。

可在 A10 上运行的模型

Q4_K_M，8K 上下文，可用 24 GB。按质量和速度排序。

模型	显存	速度	适配
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	57–109 tok/s	可运行
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	31–60 tok/s	可运行
Olmo 3 32B Olmo 3	20.1 GB	12–22 tok/s	可运行
Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2	19.9 GB	54–103 tok/s	可运行
Gemma 4 31B Gemma 4	19.5 GB	12–23 tok/s	可运行
Qwen 3 30B-A3B (MoE) Qwen 3	20 GB	70–135 tok/s	可运行
Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder	20 GB	70–135 tok/s	可运行
GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1	18.9 GB	58–111 tok/s	可运行
Granite 4.1 30B IBM Granite 4.1	18.9 GB	12–24 tok/s	可运行
Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni	18.9 GB	58–111 tok/s	可运行
North Mini Code 1.0 30B-A3B North Mini Code	18.9 GB	58–111 tok/s	可运行
Granite 4.2 30B IBM Granite 4.2	18.9 GB	12–24 tok/s	可运行

显示 118 个中的 12 个

直接购买显卡，或按小时租用同等显存的 GPU，先试用模型。

作为亚马逊联盟成员，我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金，您无需额外付费。

Llama 3.1 8B，Q4_K_M。估算区间。计算方法

规格更新于 2026-10-07。

最适合rented 24 GB

可以。它有 24 GB（模型可用 24 GB），在 Q4_K_M、8K 上下文下可运行目录中的 118 个模型；最大的是 Qwen 3 32B，约需 22.8 GB。

估计它在 Q4_K_M 下运行 Llama 3.1 8B 的速度为 41–79 tok/s。Llama 3.3 70B 放不下：约需 44 GB，而可用只有 24 GB。这些是基于内存带宽的模型估算，并非实测；公式见方法说明页。

能放下的最佳模型包括：Laguna XS 2.1 33B-A3B、Granite 4.0 Small-H 32B-A9B、Olmo 3 32B、Nemotron-Cascade 2 30B-A3B、Gemma 4 31B。

关于这张卡的更多内容

工具

指南