NVIDIADesktopowe GPUAktualna generacja

NVIDIA GeForce RTX 4090 do lokalnych LLM

Name: LLM Configurator — GPU VRAM Checker
Author: LLM Configurator

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 29 września 2026

Z 24 GB przy 1008 GB/s RTX 4090 uruchamia 118 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to Qwen 3 32B (~22.8 GB), a najlepszy wybór to Laguna XS 2.1 33B-A3B przy 111–214 tok/s.

Wciąż punkt odniesienia dla konsumenckiej AI. 24 GB VRAM mieści DeepSeek-R1-Distill-Qwen-32B i Qwen3 32B w Q4_K_M. Llama 4 Scout się nie mieści — jej 109 mld parametrów łącznie wymaga ~67 GB w pamięci, choć na token aktywuje się tylko 17 mld.

Sprawdź mój sprzęt →Pełna tabela benchmarków

Modele, które działają na RTX 4090

Q4_K_M, kontekst 8K, 24 GB do wykorzystania. Uszeregowane według jakości i szybkości.

Model	VRAM	Szybkość	Zmieści się?
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	111–214 tok/s	Mieści się
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	68–131 tok/s	Mieści się
Olmo 3 32B Olmo 3	20.1 GB	28–53 tok/s	Mieści się
Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2	19.9 GB	106–204 tok/s	Mieści się
Gemma 4 31B Gemma 4	19.5 GB	28–54 tok/s	Mieści się
Qwen 3 30B-A3B (MoE) Qwen 3	20 GB	131–251 tok/s	Mieści się
Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder	20 GB	131–251 tok/s	Mieści się
GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1	18.9 GB	112–216 tok/s	Mieści się
Granite 4.1 30B IBM Granite 4.1	18.9 GB	29–56 tok/s	Mieści się
Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni	18.9 GB	112–216 tok/s	Mieści się
North Mini Code 1.0 30B-A3B North Mini Code	18.9 GB	112–216 tok/s	Mieści się
Granite 4.2 30B IBM Granite 4.2	18.9 GB	29–56 tok/s	Mieści się

Pokazano 12 z 118

Kup kartę lub wynajmij tyle samo pamięci

Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.

Kup ten sprzęt NVIDIA GeForce RTX 4090 24GB — 24 GB VRAM · 450 W board power Uruchom w chmurze RTX 4090 w RunPod — od $0.34/godz. · stawka sprawdzona 2026-07

lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Ujawnienie afiliacyjne: Niektóre odnośniki na tej stronie to linki afiliacyjne — jeśli dokonasz zakupu za ich pośrednictwem, LLM Configurator może otrzymać prowizję bez dodatkowych kosztów dla Ciebie. Jako uczestnik programu Amazon Associates, LLM Configurator zarabia na kwalifikujących się zakupach.

NVIDIA GeForce RTX 4090 24GB

24 GB VRAM · 450 W board power

Ceny w 2026 są niestabilne — sprawdź aktualną ofertę.

Sprawdź cenę na Amazon

Szybkość na tle innych GPU

Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s RTX 409086–165 tok/s

Specyfikacja

Specyfikację zaktualizowano 2026-09-29.

Pamięć: 24 GB
Przepustowość pamięci: 1,008 GB/s
Architektura: Ada Lovelace AD102
Seria: RTX 40-series
Pobór mocy: 450 W
Rok premiery: 2022
Cena premierowa: $1,599
Dostępne dla modeli: 24 GB

Najlepsze do32B models70B with offloadresearchfastest pre-5090

Polecany pierwszy model (Ollama)

Podobne GPU

NVIDIA GeForce RTX 3090 Ti24 GB · 1,008 GB/sTyle samo VRAM, taka sama przepustowość · $1,999 AMD Radeon RX 7900 XTX24 GB · 960 GB/sTyle samo VRAM, −5% przepustowości · $999 NVIDIA GeForce RTX 309024 GB · 936 GB/sTyle samo VRAM, −7% przepustowości · $1,499

Najczęstsze pytania

Czy NVIDIA GeForce RTX 4090 uruchomi lokalne LLM?

Tak. Z 24 GB (24 GB dostępne dla modelu) uruchamia 118 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to Qwen 3 32B, potrzebuje około 22.8 GB.

Jak szybki jest NVIDIA GeForce RTX 4090 w inferencji AI?

Szacujemy, że uruchamia Llama 3.1 8B z szybkością 86–165 tok/s przy Q4_K_M. Llama 3.3 70B się nie mieści: potrzebuje około 44 GB, a dostępne jest 24 GB. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.

Jakie LLM uruchomię na 24 GB?

Wśród najlepszych, które się mieszczą: Laguna XS 2.1 33B-A3B, Granite 4.0 Small-H 32B-A9B, Olmo 3 32B, Nemotron-Cascade 2 30B-A3B, Gemma 4 31B. Najszybszy start to Ollama: ollama run deepseek-r1:32b.

Czy uruchomię to na RTX 4090?

Więcej o tej karcie

Narzędzia

Poradniki