NVIDIADesktopowe GPUAktualna generacja

NVIDIA L40S do lokalnych LLM

Name: LLM Configurator — GPU VRAM Checker
Author: LLM Configurator

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 21 lipca 2026

Z 48 GB przy 864 GB/s L40S uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to Llama 3.3 70B Instruct (~45.7 GB), a najlepszy wybór to Cosmos 3 Super przy 23–45 tok/s.

Podstawowa serwerowa karta do wnioskowania generacji Ada: 48 GB GDDR6, chłodzenie pasywne (wymaga przepływu powietrza w obudowie serwerowej), szeroko dostępna w konfiguracjach 1–8× od Dell, HPE, Lenovo i Supermicro. Częsty element pilotaży AI on-premise, bo mieści się w standardowych serwerach 2U bez egzotycznego zasilania i chłodzenia.

Sprawdź mój sprzęt →Pełna tabela benchmarków

Modele, które działają na L40S

Q4_K_M, kontekst 8K, 48 GB do wykorzystania. Uszeregowane według jakości i szybkości.

Model	VRAM	Szybkość	Zmieści się?
Cosmos 3 Super Cosmos 3	39.4 GB	23–45 tok/s	Mieści się
K2 Horizon MoVA 36B-A4B K2 Horizon	25 GB	94–181 tok/s	Mieści się
Qwen 3.6 35B-A3B Qwen 3.6	22.1 GB	145–279 tok/s	Mieści się
Nex-N2.5 mini Nex-N2.5	21.9 GB	100–192 tok/s	Mieści się
Nex-N2 mini Nex-N2	21.9 GB	100–192 tok/s	Mieści się
Qwen 3.5 35B-A3B Qwen 3.5	21.9 GB	100–192 tok/s	Mieści się
Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1	20.7 GB	101–193 tok/s	Mieści się
Qwen 3 32B Qwen 3	22.8 GB	23–44 tok/s	Mieści się
Aya Expanse 32B Aya Expanse	21.6 GB	24–47 tok/s	Mieści się
EXAONE 3.5 32B EXAONE 3.5	22.3 GB	24–45 tok/s	Mieści się
Cogito v1 32B Cogito v1	22.3 GB	24–45 tok/s	Mieści się
Granite 4.0 Small-H 32B-A9B IBM Granite 4.0	20.1 GB	60–116 tok/s	Mieści się

Pokazano 12 z 126

Kup kartę lub wynajmij tyle samo pamięci

Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.

Kup ten sprzęt NVIDIA L40S 48GB — 48 GB VRAM · 350 W board power Uruchom w chmurze NVIDIA L40S w RunPod — od $0.86/godz. · stawka sprawdzona 2026-08

lub porównaj w Vast.ai

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Ujawnienie afiliacyjne: Niektóre odnośniki na tej stronie to linki afiliacyjne — jeśli dokonasz zakupu za ich pośrednictwem, LLM Configurator może otrzymać prowizję bez dodatkowych kosztów dla Ciebie. Jako uczestnik programu Amazon Associates, LLM Configurator zarabia na kwalifikujących się zakupach.

NVIDIA L40S 48GB

48 GB VRAM · 350 W board power

Ceny w 2026 są niestabilne — sprawdź aktualną ofertę.

Sprawdź cenę na Amazon

Szybkość na tle innych GPU

Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s L40S77–147 tok/s

Specyfikacja

Specyfikację zaktualizowano 2026-07-21.

Pamięć: 48 GB
Przepustowość pamięci: 864 GB/s
Architektura: Ada Lovelace AD102
Seria: Server
Pobór mocy: 350 W
Rok premiery: 2023
Cena premierowa: $7,499
Dostępne dla modeli: 48 GB

Najlepsze dorack servers70B modelsmulti-user inferencepassive cooling

Polecany pierwszy model (Ollama)

Podobne GPU

AMD Radeon PRO W790048 GB · 864 GB/sTyle samo VRAM, taka sama przepustowość NVIDIA L4048 GB · 864 GB/sTyle samo VRAM, taka sama przepustowość NVIDIA RTX 6000 Ada Generation48 GB · 960 GB/sTyle samo VRAM, +11% przepustowości · $6,799

Najczęstsze pytania

Czy NVIDIA L40S uruchomi lokalne LLM?

Tak. Z 48 GB (48 GB dostępne dla modelu) uruchamia 126 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to Llama 3.3 70B Instruct, potrzebuje około 45.7 GB.

Jak szybki jest NVIDIA L40S w inferencji AI?

Szacujemy, że uruchamia Llama 3.1 8B z szybkością 77–147 tok/s przy Q4_K_M. Dla Llama 3.3 70B szacunek wynosi 12–23 tok/s. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.

Jakie LLM uruchomię na 48 GB?

Wśród najlepszych, które się mieszczą: Cosmos 3 Super, K2 Horizon MoVA 36B-A4B, Qwen 3.6 35B-A3B, Nex-N2.5 mini, Nex-N2 mini. Najszybszy start to Ollama: ollama run llama3.3:70b.

Czy uruchomię to na L40S?

Więcej o tej karcie

Narzędzia

Poradniki