NVIDIADesktopowe GPUPoprzednia generacja

NVIDIA RTX A6000 do lokalnych LLM

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 7 października 2026

Z 48 GB GDDR6 przy 768 GB/s RTX A6000 uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to Llama 3.3 70B Instruct (~45.7 GB), a najlepszy wybór to Cosmos 3 Super przy 14–28 tok/s.

48 GB GDDR6 z ECC, 768 GB/s, 300 W. Typowa droga do 48 GB na jednej używanej karcie.

Sprawdź mój sprzęt →Pełna tabela benchmarków

Modele, które działają na RTX A6000

Q4_K_M, kontekst 8K, 48 GB do wykorzystania. Uszeregowane według jakości i szybkości.

Model	VRAM	Szybkość	Zmieści się?
Cosmos 3 Super Cosmos 3	39.4 GB	14–28 tok/s	Mieści się
K2 Horizon MoVA 36B-A4B K2 Horizon	25 GB	64–123 tok/s	Mieści się
Qwen 3.6 35B-A3B Qwen 3.6	22.1 GB	107–206 tok/s	Mieści się
Nex-N2.5 mini Nex-N2.5	21.9 GB	69–132 tok/s	Mieści się
Nex-N2 mini Nex-N2	21.9 GB	69–132 tok/s	Mieści się
Qwen 3.5 35B-A3B Qwen 3.5	21.9 GB	69–132 tok/s	Mieści się
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	69–133 tok/s	Mieści się
Qwen 3 32B Qwen 3	22.8 GB	14–27 tok/s	Mieści się
Aya Expanse 32B Aya Expanse	21.6 GB	15–29 tok/s	Mieści się
EXAONE 3.5 32B EXAONE 3.5	22.3 GB	15–28 tok/s	Mieści się
Cogito v1 32B Cogito v1	22.3 GB	15–28 tok/s	Mieści się
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	39–75 tok/s	Mieści się

Pokazano 12 z 126

Kup kartę lub wynajmij tyle samo pamięci

Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.

Kup ten sprzęt NVIDIA DGX Spark (128GB) — 128 GB VRAM · 150 W board power Uruchom w chmurze NVIDIA A40 w RunPod — od $0.44/godz. · stawka sprawdzona 2026-08

lub porównaj w Vast.ai

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Szybkość na tle innych GPU

Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s RTX A600051–98 tok/s

Specyfikacja

Specyfikację zaktualizowano 2026-10-07.

Pamięć: 48 GB GDDR6
Przepustowość pamięci: 768 GB/s
Szyna pamięci: 384-bit
Architektura: Ampere GA102
Seria: RTX A-series
Pobór mocy: 300 W
Rok premiery: 2020
Cena premierowa: $4,649
Backendy obliczeniowe: CUDA, VULKAN
Dostępne dla modeli: 48 GB

Najlepsze doused 48 GB70B at Q4

Podobne GPU

NVIDIA L40S48 GB · 864 GB/sTyle samo VRAM, +13% przepustowości · $7,499 AMD Radeon PRO W790048 GB · 864 GB/sTyle samo VRAM, +13% przepustowości NVIDIA L4048 GB · 864 GB/sTyle samo VRAM, +13% przepustowości

Najczęstsze pytania

Czy NVIDIA RTX A6000 uruchomi lokalne LLM?

Tak. Z 48 GB (48 GB dostępne dla modelu) uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to Llama 3.3 70B Instruct, potrzebuje około 45.7 GB.

Jak szybki jest NVIDIA RTX A6000 w inferencji AI?

Szacujemy, że uruchamia Llama 3.1 8B z szybkością 51–98 tok/s przy Q4_K_M. Dla Llama 3.3 70B szacunek wynosi 7.3–14 tok/s. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.

Jakie LLM uruchomię na 48 GB?

Wśród najlepszych, które się mieszczą: Cosmos 3 Super, K2 Horizon MoVA 36B-A4B, Qwen 3.6 35B-A3B, Nex-N2.5 mini, Nex-N2 mini.

Więcej o tej karcie

Narzędzia

Poradniki