Nemotron 3.5 — lokalny model AI od NVIDIA
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Agentowa linia NVIDIA, zbudowana na hybrydowym stosie, który przeplata stanowe warstwy Mamba-2 i bloki MoE z mniejszością warstw uwagi. Tylko warstwy uwagi utrzymują pamięć podręczną KV, co pozwala deklarować kontekst 1M tokenów przy tym rozmiarze.
Warianty
Najmniejszy wariant Nemotron 3.5 potrzebuje około 19 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| Nemotron 3.5 Lightning 30B-A3B → 30B (3B active) | ~18.9 GB | 1,000,000 | ollama run nemotron-3.5-lightning:30b | |
| Nemotron 3.5 Bolt 74B → 74B (9B active) | ~22.8 GB | 262,144 | ollama run nemotron-3.5-bolt:74b-a9b |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić Nemotron 3.5 lokalnie
Zainstaluj Ollama, a potem pobierz tag.
ollama run nemotron-3.5-lightning:30bWybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: Nemotron 3.5 Lightning 30B-A3B, Nemotron 3.5 Bolt 74BPolecane GPU
Najtańsze GPU z naszego katalogu, które uruchomi Nemotron 3.5 lokalnie (min. 19 GB VRAM), to AMD Radeon RX 7900 XTX (24 GB).
Czy uruchomię Nemotron 3.5 na moim GPU?
Nemotron 3.5 — najczęściej zadawane pytania
How much VRAM does Nemotron 3.5 need?
Nemotron 3.5 needs about 19 GB VRAM at Q4_K_M quantization for its smallest variant. Variants: Nemotron 3.5 Lightning 30B-A3B (19 GB, Q4_K_M); Nemotron 3.5 Bolt 74B (23 GB, IQ2_XXS QAD). On Apple Silicon, unified memory counts toward this requirement.
Can I run Nemotron 3.5 on an RTX 4090 (24 GB)?
Yes — Nemotron 3.5 runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at Q4_K_M.
What quantization should I use for Nemotron 3.5?
Q4_K_M is the best balance of quality and VRAM for Nemotron 3.5 in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.
How do I run Nemotron 3.5 with Ollama?
Install Ollama, then run: ollama run nemotron-3.5-lightning:30b. This downloads Nemotron 3.5 and starts a local, OpenAI-compatible endpoint — no internet connection is needed after the initial download.