NVIDIADesktopowe GPUAktualna generacja

NVIDIA L40 do lokalnych LLM

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 7 października 2026

Z 48 GB GDDR6 przy 864 GB/s L40 uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to Llama 3.3 70B Instruct (~45.7 GB), a najlepszy wybór to Cosmos 3 Super przy 23–45 tok/s.

48 GB GDDR6 z ECC, 864 GB/s, 300 W. To nie L40S, który ma ten sam system pamięci, ale inną wydajność tensorową.

Sprawdź mój sprzęt →Pełna tabela benchmarków

Modele, które działają na L40

Q4_K_M, kontekst 8K, 48 GB do wykorzystania. Uszeregowane według jakości i szybkości.

Model	VRAM	Szybkość	Zmieści się?
Cosmos 3 Super Cosmos 3	39.4 GB	23–45 tok/s	Mieści się
K2 Horizon MoVA 36B-A4B K2 Horizon	25 GB	94–181 tok/s	Mieści się
Qwen 3.6 35B-A3B Qwen 3.6	22.1 GB	145–279 tok/s	Mieści się
Nex-N2.5 mini Nex-N2.5	21.9 GB	100–192 tok/s	Mieści się
Nex-N2 mini Nex-N2	21.9 GB	100–192 tok/s	Mieści się
Qwen 3.5 35B-A3B Qwen 3.5	21.9 GB	100–192 tok/s	Mieści się
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	101–193 tok/s	Mieści się
Qwen 3 32B Qwen 3	22.8 GB	23–44 tok/s	Mieści się
Aya Expanse 32B Aya Expanse	21.6 GB	24–47 tok/s	Mieści się
EXAONE 3.5 32B EXAONE 3.5	22.3 GB	24–45 tok/s	Mieści się
Cogito v1 32B Cogito v1	22.3 GB	24–45 tok/s	Mieści się
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	60–116 tok/s	Mieści się

Pokazano 12 z 126

Kup kartę lub wynajmij tyle samo pamięci

Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.

Kup ten sprzęt NVIDIA DGX Spark (128GB) — 128 GB VRAM · 150 W board power Uruchom w chmurze NVIDIA A40 w RunPod — od $0.44/godz. · stawka sprawdzona 2026-08

lub porównaj w Vast.ai

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Szybkość na tle innych GPU

Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s L4077–147 tok/s

Specyfikacja

Specyfikację zaktualizowano 2026-10-07.

Pamięć: 48 GB GDDR6
Przepustowość pamięci: 864 GB/s
Szyna pamięci: 384-bit
Architektura: Ada Lovelace AD102
Seria: Data center
Pobór mocy: 300 W
Rok premiery: 2022
Backendy obliczeniowe: CUDA
Dostępne dla modeli: 48 GB

Najlepsze dorented 48 GB70B at Q4

Podobne GPU

NVIDIA L40S48 GB · 864 GB/sTyle samo VRAM, taka sama przepustowość · $7,499 AMD Radeon PRO W790048 GB · 864 GB/sTyle samo VRAM, taka sama przepustowość NVIDIA RTX 6000 Ada Generation48 GB · 960 GB/sTyle samo VRAM, +11% przepustowości · $6,799

Najczęstsze pytania

Czy NVIDIA L40 uruchomi lokalne LLM?

Tak. Z 48 GB (48 GB dostępne dla modelu) uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to Llama 3.3 70B Instruct, potrzebuje około 45.7 GB.

Jak szybki jest NVIDIA L40 w inferencji AI?

Szacujemy, że uruchamia Llama 3.1 8B z szybkością 77–147 tok/s przy Q4_K_M. Dla Llama 3.3 70B szacunek wynosi 12–23 tok/s. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.

Jakie LLM uruchomię na 48 GB?

Wśród najlepszych, które się mieszczą: Cosmos 3 Super, K2 Horizon MoVA 36B-A4B, Qwen 3.6 35B-A3B, Nex-N2.5 mini, Nex-N2 mini.

Więcej o tej karcie

Narzędzia

Poradniki