Nemotron 70B — lokalny model AI od NVIDIA

Autor: Jakub Rusinowski · Ostatnia aktualizacja:

Model zastąpiony. Nemotron 70B został zastąpiony przez Nemotron 3 Super. Tę stronę zostawiamy dla odniesienia; nowsza rodzina jest lepszym punktem wyjścia. Zobacz Nemotron 3 Super →

Specjalistyczne dostrojenie Llama 3.1 70B przez NVIDIA. Zajmuje czołowe miejsca w rankingach pomocności i śledzenia instrukcji, znacząco przewyższając bazowy model Llama w zakresie zgodności z oczekiwaniami.

Hugging Face

Warianty

Najmniejszy wariant Nemotron 70B potrzebuje około 43 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.

ModelVRAM
Nemotron 70B Instruct →
70B
~43.4 GB

Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.

Jak uruchomić Nemotron 70B lokalnie

Zainstaluj Ollama, a potem pobierz tag.

ollama run nemotron

Wybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.

Licencja

Llama CommunityUżycie komercyjne dozwolone

Weights are downloadable and commercial use is permitted, subject to the licence’s acceptable-use terms.

Dotyczy: Nemotron 70B Instruct

Polecane GPU

Najtańsze GPU z naszego katalogu, które uruchomi Nemotron 70B lokalnie (min. 43 GB VRAM), to NVIDIA DGX Spark (128 GB).

Ujawnienie afiliacyjne: Niektóre odnośniki na tej stronie to linki afiliacyjne — jeśli dokonasz zakupu za ich pośrednictwem, LLM Configurator może otrzymać prowizję bez dodatkowych kosztów dla Ciebie. Jako uczestnik programu Amazon Associates, LLM Configurator zarabia na kwalifikujących się zakupach.
NVIDIA DGX Spark (128GB)
128 GB VRAM · 150 W board power
Ceny w 2026 są niestabilne — sprawdź aktualną ofertę.

Czy uruchomię Nemotron 70B na moim GPU?

Nemotron 70B — najczęściej zadawane pytania

How much VRAM does Nemotron 70B need?

Nemotron 70B needs about 43 GB VRAM at Q4_K_M quantization for its smallest variant. Variants: Nemotron 70B Instruct (43 GB, Q4_K_M). On Apple Silicon, unified memory counts toward this requirement.

Can I run Nemotron 70B on an RTX 4090 (24 GB)?

Nemotron 70B's smallest variant needs about 43 GB, which exceeds a single RTX 4090 (24 GB). Use multiple GPUs, a higher-VRAM card, or Apple Silicon with large unified memory.

What quantization should I use for Nemotron 70B?

Q4_K_M is the best balance of quality and VRAM for Nemotron 70B in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.

How do I run Nemotron 70B with Ollama?

Install Ollama, then run: ollama run nemotron. This downloads Nemotron 70B and starts a local, OpenAI-compatible endpoint — no internet connection is needed after the initial download.