Nemotron 3.5 Bolt 74B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
NVIDIA's local-agent model for RTX Spark laptops, compressed from Nemotron 3.5 Super VL (120B-A12B): 74B parameters, 9B active (top-9 experts), in a hybrid stack of 40 Mamba-2, 40 latent-MoE and only 8 attention blocks, so its KV cache is about a tenth of a same-depth transformer's. Takes text, images and video; 262,144-token context. The official local build is a 2-bit GGUF (experts at IQ2_XXS, recovered with quantisation-aware distillation): 22.0 GB, plus a 1.7 GB vision projector. NVIDIA calls it the "24GB" version, but its own card lists RTX GPUs with 32 GB or more, with 28 GB and 32 GB recipes; on a 24 GB card it is tight. Ships with a LiLiCorr speculative-decoding drafter.
Nemotron 3.5 Bolt 74B potrzebuje około 23 GB VRAM przy IQ2_XXS QAD — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| IQ2_XXS QAD 2.38 bpw | 22.9 GB | ~171 tok/s | Na styk | |
| BF16 16.00 bpw | 150.6 GB | — | Za duży |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Nemotron 3.5 Bolt 74B →
Uruchom Nemotron 3.5 Bolt 74B
Najtańsze GPU z naszego katalogu, które uruchomi Nemotron 3.5 Bolt 74B, to NVIDIA GeForce RTX 5090 (32 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Nemotron 3.5 Bolt 74B
Zainstaluj Ollama, a potem uruchom:
ollama run nemotron-3.5-bolt:74b-a9bSpecyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source. Jeszcze niepotwierdzone: arch.kv_layers.
- Parametry
- 74 Billion (9B active)
- Okno kontekstu
- 262,144
- Architektura
- Hybrid Mamba-2 + latent MoE + attention (8 of 88 blocks attend), vision encoder
- Dostawca
- NVIDIA
- Licencja
- OpenMDW-1.1
- Availability
- Weights downloadable
- Practical deployment
- Single consumer GPU
- Określono przy
- IQ2_XXS QAD
- Vision projector
- +1.7 GB when you send images (not included above)
- RAM systemowy
- 32 GB
- Rekord zaktualizowany
- 2026-10-15
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- The "24GB" name is the file footprint (22.0 GB weights + 1.7 GB vision projector). NVIDIA's own deployment table starts at 32 GB GPUs.
- Only one local quantisation is published (NVIDIA's 2-bit QAD build); the BF16 checkpoint is meant for fine-tuning, not local inference.
- LM Studio support is reported in launch coverage but not on the model card.
Zobacz też Nemotron 3.5 Lightning 30B-A3B
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Czy uruchomię Nemotron 3.5 Bolt 74B na moim GPU?
Inne rozmiary Nemotron 3.5
Nemotron 3.5 Bolt 74B — najczęściej zadawane pytania
How much VRAM does Nemotron 3.5 Bolt 74B need?
About 23 GB at IQ2_XXS QAD — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Nemotron 3.5 Bolt 74B run on an RTX 4090 (24 GB)?
Yes. Nemotron 3.5 Bolt 74B needs about 23 GB at IQ2_XXS QAD, inside a 24 GB card, at an estimated 171 tokens/sec.
How do I run Nemotron 3.5 Bolt 74B locally?
Install Ollama and run `ollama run nemotron-3.5-bolt:74b-a9b`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.
What other sizes does Nemotron 3.5 come in?
Nemotron 3.5 Lightning 30B-A3B (19 GB), Nemotron 3.5 Bolt 74B (23 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.