NVIDIA台式机 GPU当前在售

NVIDIA A100 80GB (PCIe) 运行本地大模型

Name: LLM Configurator — GPU VRAM Checker
Author: LLM Configurator

作者： Jakub Rusinowski · 最后更新： 2026年7月21日

凭借 80 GB、1,935 GB/s 带宽，A100 80GB (PCIe) 可在 Q4_K_M、8K 上下文下运行目录中的 138 个模型。能放下的最大模型是 Devstral-2 123B（约 75.1 GB），首选是 GPT-OSS 120B，速度 129–248 tok/s。

The datacenter workhorse of the 2021–2023 AI wave, now the value pick for on-prem business inference: 80 GB HBM2e at 1.9 TB/s runs Llama 3.3 70B at Q4 entirely on one card. No official MSRP — single-unit street pricing has fallen well below launch levels as H100/B200 fleets displace it, and the used/refurb market is active. PCIe version shown; SXM needs an HGX carrier board.

检测我的硬件 →完整基准测试表

可在 A100 80GB (PCIe) 上运行的模型

Q4_K_M，8K 上下文，可用 80 GB。按质量和速度排序。

模型	显存	速度	适配
GPT-OSS 120B GPT-OSS	71.9 GB	129–248 tok/s	可运行
Llama 4.5 Scout Llama 4.5	66.6 GB	52–101 tok/s	可运行
Llama 4 Scout 17B Llama 4	68.2 GB	57–109 tok/s	可运行
Llama 3.2 Vision 90B Llama 3.2 Vision	57.8 GB	14–27 tok/s	可运行
Qwen3-Coder-Next (80B-A3B MoE) Qwen3-Coder	49.1 GB	118–226 tok/s	可运行
Kolibri 1 Kolibri	48.4 GB	166–319 tok/s	可运行
Nemotron 3.5 Bolt 74B Nemotron 3.5	45.6 GB	100–193 tok/s	可运行
Llama 3.3 70B Instruct Llama 3.3	45.7 GB	17–33 tok/s	可运行
Cogito v1 70B Cogito v1	45.7 GB	17–33 tok/s	可运行
Apertus 70B Apertus	43.1 GB	17–33 tok/s	可运行
Cosmos 3 Super Cosmos 3	39.4 GB	34–65 tok/s	可运行
K2 Horizon MoVA 36B-A4B K2 Horizon	25 GB	123–235 tok/s	可运行

显示 138 个中的 12 个

购买显卡，或租用同等显存

直接购买显卡，或按小时租用同等显存的 GPU，先试用模型。

购买此硬件 NVIDIA A100 80GB PCIe — 80 GB VRAM · 300 W board power 立即云端部署 RunPod 上的 NVIDIA A100 80GB — 低至 $1.39/小时 · 价格核实于 2026-07

或在 Vast.ai 比较，低至 $0.77/小时 (typical low · varies)

作为亚马逊联盟成员，我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金，您无需额外付费。

联盟营销声明: 本页部分链接为联盟推广链接——如果你通过它们购买，LLM Configurator 可能会获得佣金，而你无需支付任何额外费用。作为亚马逊联盟成员（Amazon Associate），LLM Configurator 会从符合条件的购买中获得收益。

NVIDIA A100 80GB PCIe

80 GB VRAM · 300 W board power

2026年价格波动较大——请以当前商品页价格为准。

在亚马逊查看价格

与其他 GPU 的速度对比

Llama 3.1 8B，Q4_K_M。估算区间。计算方法

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s

规格

规格更新于 2026-07-21。

显存: 80 GB
内存带宽: 1,935 GB/s
架构: Ampere GA100
系列: Server
整卡功耗: 300 W
发布年份: 2021
首发价格: $15,000
模型可用: 80 GB

最适合70B modelsfine-tuningproven server platformused market value

推荐的第一个模型（Ollama）

相似 GPU

NVIDIA H100 80GB (PCIe)80 GB · 2,000 GB/s显存相同，带宽 +3% · $25,000 NVIDIA H100 80GB (SXM)80 GB · 3,350 GB/s显存相同，带宽 +73%NVIDIA RTX PRO 6000 Blackwell96 GB · 1,792 GB/s显存 +16 GB，带宽 −7% · $8,565

常见问题

NVIDIA A100 80GB (PCIe) 能运行本地大模型吗？

可以。它有 80 GB（模型可用 80 GB），在 Q4_K_M、8K 上下文下可运行目录中的 138 个模型；最大的是 Devstral-2 123B，约需 75.1 GB。

NVIDIA A100 80GB (PCIe) 的 AI 推理速度有多快？

估计它在 Q4_K_M 下运行 Llama 3.1 8B 的速度为 102–196 tok/s。Llama 3.3 70B 的估算为 18–34 tok/s。这些是基于内存带宽的模型估算，并非实测；公式见方法说明页。

80 GB 能运行哪些大模型？

能放下的最佳模型包括：GPT-OSS 120B、Llama 4.5 Scout、Llama 4 Scout 17B、Llama 3.2 Vision 90B、Qwen3-Coder-Next (80B-A3B MoE)。最快的上手方式是 Ollama：ollama run llama3.3:70b。

能在 A100 80GB (PCIe) 上运行吗？

关于这张卡的更多内容

工具

指南