NVIDIA台式机 GPU当前在售

NVIDIA H100 80GB (PCIe) 运行本地大模型

Name: LLM Configurator — GPU VRAM Checker
Author: LLM Configurator

作者： Jakub Rusinowski · 最后更新： 2026年7月21日

凭借 80 GB、2,000 GB/s 带宽，H100 80GB (PCIe) 可在 Q4_K_M、8K 上下文下运行目录中的 138 个模型。能放下的最大模型是 Devstral-2 123B（约 75.1 GB），首选是 GPT-OSS 120B，速度 147–306 tok/s。

The reference datacenter GPU for LLM serving: 80 GB HBM3, FP8 transformer engine, first-class vLLM/TensorRT-LLM support. One H100 serves a 70B model to a whole department; 2–4× serve 100B+ MoE models. No official MSRP — figure shown is a typical single-unit PCIe street price; most businesses buy it inside an OEM server or rent it hourly (see the cloud directory) before committing.

检测我的硬件 →完整基准测试表

可在 H100 80GB (PCIe) 上运行的模型

Q4_K_M，8K 上下文，可用 80 GB。按质量和速度排序。

模型	显存	速度	适配
GPT-OSS 120B GPT-OSS	71.9 GB	147–306 tok/s	可运行
Llama 4.5 Scout Llama 4.5	66.6 GB	66–136 tok/s	可运行
Llama 4 Scout 17B Llama 4	68.2 GB	70–146 tok/s	可运行
Llama 3.2 Vision 90B Llama 3.2 Vision	57.8 GB	18–38 tok/s	可运行
Qwen3-Coder-Next (80B-A3B MoE) Qwen3-Coder	49.1 GB	136–283 tok/s	可运行
Kolibri 1 Kolibri	48.4 GB	182–378 tok/s	可运行
Nemotron 3.5 Bolt 74B Nemotron 3.5	45.6 GB	119–246 tok/s	可运行
Llama 3.3 70B Instruct Llama 3.3	45.7 GB	23–47 tok/s	可运行
Cogito v1 70B Cogito v1	45.7 GB	23–47 tok/s	可运行
Apertus 70B Apertus	43.1 GB	23–47 tok/s	可运行
Cosmos 3 Super Cosmos 3	39.4 GB	43–90 tok/s	可运行
K2 Horizon MoVA 36B-A4B K2 Horizon	25 GB	141–293 tok/s	可运行

显示 138 个中的 12 个

购买显卡，或租用同等显存

直接购买显卡，或按小时租用同等显存的 GPU，先试用模型。

购买此硬件 NVIDIA H100 80GB PCIe — 80 GB VRAM · 350 W board power 立即云端部署 RunPod 上的 NVIDIA H100 80GB — 低至 $2.89/小时 · 价格核实于 2026-07

或在 Vast.ai 比较

作为亚马逊联盟成员，我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金，您无需额外付费。

联盟营销声明: 本页部分链接为联盟推广链接——如果你通过它们购买，LLM Configurator 可能会获得佣金，而你无需支付任何额外费用。作为亚马逊联盟成员（Amazon Associate），LLM Configurator 会从符合条件的购买中获得收益。

NVIDIA H100 80GB PCIe

80 GB VRAM · 350 W board power

2026年价格波动较大——请以当前商品页价格为准。

在亚马逊查看价格

与其他 GPU 的速度对比

Llama 3.1 8B，Q4_K_M。估算区间。计算方法

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s

规格

规格更新于 2026-07-21。

显存: 80 GB
内存带宽: 2,000 GB/s
架构: Hopper GH100
系列: Server
整卡功耗: 350 W
发布年份: 2022
首发价格: $25,000
模型可用: 80 GB

最适合production inference at scale70B+ modelsfine-tuningvLLM serving

推荐的第一个模型（Ollama）

相似 GPU

NVIDIA A100 80GB (PCIe)80 GB · 1,935 GB/s显存相同，带宽 −3% · $15,000 NVIDIA H100 80GB (SXM)80 GB · 3,350 GB/s显存相同，带宽 +68%NVIDIA RTX PRO 6000 Blackwell96 GB · 1,792 GB/s显存 +16 GB，带宽 −10% · $8,565

常见问题

NVIDIA H100 80GB (PCIe) 能运行本地大模型吗？

可以。它有 80 GB（模型可用 80 GB），在 Q4_K_M、8K 上下文下可运行目录中的 138 个模型；最大的是 Devstral-2 123B，约需 75.1 GB。

NVIDIA H100 80GB (PCIe) 的 AI 推理速度有多快？

估计它在 Q4_K_M 下运行 Llama 3.1 8B 的速度为 120–250 tok/s。Llama 3.3 70B 的估算为 23–48 tok/s。这些是基于内存带宽的模型估算，并非实测；公式见方法说明页。

80 GB 能运行哪些大模型？

能放下的最佳模型包括：GPT-OSS 120B、Llama 4.5 Scout、Llama 4 Scout 17B、Llama 3.2 Vision 90B、Qwen3-Coder-Next (80B-A3B MoE)。最快的上手方式是 Ollama：ollama run llama3.3:70b。

能在 H100 80GB (PCIe) 上运行吗？

关于这张卡的更多内容

工具

指南