NVIDIA H100 80GB — Local LLM Performance & Compatibility

Name: LLM Configurator — GPU VRAM Checker
Author: LLM Configurator

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 21 lipca 2026

Referencyjny GPU centrów danych do serwowania LLM-ów: 80 GB HBM3, silnik transformerowy FP8, pierwszorzędne wsparcie vLLM/TensorRT-LLM. Jeden H100 obsłuży model 70B dla całego działu; 2–4 sztuki poradzą sobie z modelami MoE 100B+. Brak oficjalnej ceny katalogowej — podana wartość to typowa cena rynkowa pojedynczej karty PCIe; większość firm kupuje ją w serwerze OEM albo wynajmuje godzinowo (zobacz katalog chmur), zanim zdecyduje się na zakup.

Technical Specifications

VRAM	80 GB
Memory Bandwidth	2000 GB/s
TDP	350 W
Architecture	Hopper GH100
Release Year	2022
MSRP at Launch	$25,000
Inference Speed (Llama 3.1 8B Q4_K_M)	120–250 tok/s (estimated)
Inference Speed (Llama 3.3 70B Q4_K_M)	23–48 tok/s (estimated)

Buy This HardwareNVIDIA H100 80GB PCIe — 80 GB VRAM · 350 W board power Deploy in the Cloud NowNVIDIA H100 80GB on RunPod — from $2.89/hr · rate checked 2026-07

or compare on Vast.ai

As an Amazon Associate we earn from qualifying purchases. Cloud GPU links are referral links — we may earn a commission at no extra cost to you.

Ujawnienie afiliacyjne: Niektóre odnośniki na tej stronie to linki afiliacyjne — jeśli dokonasz zakupu za ich pośrednictwem, LLM Configurator może otrzymać prowizję bez dodatkowych kosztów dla Ciebie. Jako uczestnik programu Amazon Associates, LLM Configurator zarabia na kwalifikujących się zakupach.

NVIDIA H100 80GB PCIe

80 GB VRAM · 350 W board power

Ceny w 2026 są niestabilne — sprawdź aktualną ofertę.

Sprawdź cenę na Amazon

LLMs Compatible with 80 GB VRAM

All models below run comfortably in 80 GB VRAM with Q4_K_M quantization.

Llama 4	Llama 4 Scout 17B · 67 GB VRAM · Q4_K_M · `ollama run llama4:scout`
Llama 3.3	Llama 3.3 70B Instruct · 43 GB VRAM · Q4_K_M · `ollama run llama3.3`
Llama 3.1 Family	Llama 3.1 8B Instruct · 6 GB VRAM · Q4_K_M · `ollama run llama3.1`
DeepSeek R1	DeepSeek R1 Distill Qwen 32B · 20 GB VRAM · Q4_K_M · `ollama run deepseek-r1:32b`
Qwen 3	Qwen 3 32B · 21 GB VRAM · Q4_K_M · `ollama run qwen3:32b`
Qwen 3.5	Qwen 3.5 122B-A10B · 74 GB VRAM · Q4_K_M · `ollama run qwen3.5:122b`
Qwen 3.6	Qwen 3.6 35B-A3B · 22 GB VRAM · Q4_K_M · `ollama run qwen3.6:35b-a3b`
Gemma 3	Gemma 3 27B Instruct · 17 GB VRAM · Q4_K_M · `ollama run gemma3:27b`

Best Use Cases

production inference at scale
70B+ models
fine-tuning
vLLM serving

Quick Start with Ollama

Install Ollama then run the recommended model for this GPU:

ollama run llama3.3:70b

FAQ

Can the NVIDIA H100 80GB run local LLMs?

Yes — the NVIDIA H100 80GB has 80 GB VRAM and runs Referencyjny GPU centrów danych do serwowania LLM-ów: 80 GB HBM3, silnik transformerowy FP8, pierwszorzędne wsparcie vLL

How fast is the NVIDIA H100 80GB for AI inference?

The NVIDIA H100 80GB is estimated to run Llama 3.1 8B at 120–250 tok/s with Q4_K_M quantization. For Llama 3.3 70B the estimate is 23–48 tok/s. These are modelled estimates, not measurements — see /en/methodology.

What LLMs can I run on 80 GB VRAM?

With 80 GB you can run: Llama 4, Llama 3.3, Llama 3.1 Family, DeepSeek R1, Qwen 3. Use Ollama for the easiest setup: ollama run llama3.3:70b.

Can I Run It? — NVIDIA H100 80GB

Compare Similar GPUs

NVIDIA A100 80GB (80 GB, 145 t/s)

VRAM Tier

Best LLMs for 80 GB VRAM

Buying Guide

Best GPU Buyer Guide 2026

← All GPU Reviews | Check Your Hardware | Full Benchmarks | Can I Run It?