DeepSeek671B/37B active~414 GB VRAM przy Q4_K_M

DeepSeek V3.2 671B — VRAM, szybkość i lokalna konfiguracja

Autor: Jakub Rusinowski · Ostatnia aktualizacja:

671B MoE with 37B active parameters. Improved over V3 with better tool-use, function-calling, and long-context handling. MIT licensed. DEPRECATED: superseded by DeepSeek V4 (1M context, MIT) — reported retiring 2026-07-24.

DeepSeek V3.2 671B potrzebuje około 414 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.

Logika96
Kreatywność87
Kod94

VRAM i szybkość według kwantyzacji

Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.

Kwant.VRAMSzybkość (szac.)Dopasowanie
Q2_K
2.63 bpw
226.6 GB—Za duży
Q3_K_M
3.41 bpw
293.4 GB—Za duży
Q4_K_M
4.83 bpw
414.9 GB—Za duży
Q5_K_M
5.67 bpw
486.9 GB—Za duży
Q6_K
6.56 bpw
563.1 GB—Za duży
Q8_0
8.50 bpw
729.2 GB—Za duży
F16
16.00 bpw
1371.4 GB—Za duży

Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla DeepSeek V3.2 671B →

Uruchom DeepSeek V3.2 671B

DeepSeek V3.2 671B is not practical on a single consumer GPU: it needs about 414.4 GB at Q4_K_M, more than any single device in our catalogue holds with headroom. How multi-GPU inference works, or rent a multi-GPU server by the hour:

Uruchom w chmurze RunPod

lub porównaj w Vast.ai

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Jak uruchomić DeepSeek V3.2 671B

Zainstaluj Ollama, a potem uruchom:

ollama run deepseek-v3.2:671b-q4
Wagi na Hugging Face: deepseek-ai/DeepSeek-V3.2 ↗

Specyfikacja

Preview — The model is released, but these specs are thin or rest on a single source. Individual fields may be wrong.

Preview — The model is released, but these specs are thin or rest on a single source. Individual fields may be wrong.

Parametry
671 Billion (37B active)
Okno kontekstu
128,000
Architektura
MoE
Dostawca
DeepSeek
Licencja
MIT
Practical deployment
Multi-GPU server
Określono przy
Q4_K_M
RAM systemowy
256 GB
Rekord zaktualizowany
2026-02-28
LicencjaMITUżycie komercyjne dozwolone

Commercial use permitted. No usage restrictions beyond attribution.

Jakość i zastosowania

Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.

Najlepszy doreasoningcodingagentslong context

Czy uruchomię DeepSeek V3.2 671B na moim GPU?

DeepSeek V3.2 671B — najczęściej zadawane pytania

How much VRAM does DeepSeek V3.2 671B need?

About 414 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.

Does DeepSeek V3.2 671B run on an RTX 4090 (24 GB)?

No. DeepSeek V3.2 671B needs about 414 GB at Q4_K_M, more than a single RTX 4090's 24 GB. It needs a larger card, several GPUs, or Apple Silicon with enough unified memory — or it runs with part of the weights offloaded to system RAM, which is much slower.

How do I run DeepSeek V3.2 671B locally?

Install Ollama and run `ollama run deepseek-v3.2:671b-q4`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.

What other sizes does DeepSeek V3.2 come in?

DeepSeek V3.2 671B (414 GB), DeepSeek V3.2 685B (414 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.