Autor: Jakub Rusinowski · Ostatnia aktualizacja: 26 grudnia 2024
Przełomowy model frontier DeepSeek bez rozumowania. Wytrenowany za jedyne 5,5 mln dolarów — 1/10 kostu porównywalnych modeli własnościowych. Wykorzystuje architekturę MoE 685B (37B aktywnych parametrów na token), zajmując czołowe miejsce w otwartym rankingu dla kodowania, matematyki i ogólnego śledzenia instrukcji.
| Licence | What it permits | Applies to |
|---|---|---|
MIT | Commercial use permitted Commercial use permitted. No usage restrictions beyond attribution. | DeepSeek V3 (685B MoE) |
| DeepSeek V3 (685B MoE) | Min 414 GB VRAM · Q4_K_M · 128,000 ctx · ollama run deepseek-v3 |
The cheapest GPU that runs DeepSeek V3 locally (min 414 GB VRAM) is the Apple M3 Ultra (512 GB).
Install Ollama then run: ollama run deepseek-v3
Minimum VRAM: 414 GB. For best results use Q4_K_M quantization.
DeepSeek V3 needs about 414 GB VRAM at Q4_K_M quantization for its smallest variant. Variants: DeepSeek V3 (685B MoE) (414 GB, Q4_K_M). On Apple Silicon, unified memory counts toward this requirement.
DeepSeek V3's smallest variant needs about 414 GB, which exceeds a single RTX 4090 (24 GB). Use multiple GPUs, a higher-VRAM card, or Apple Silicon with large unified memory.
Q4_K_M is the best balance of quality and VRAM for DeepSeek V3 in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.
Install Ollama, then run: ollama run deepseek-v3. This downloads DeepSeek V3 and starts a local, OpenAI-compatible endpoint — no internet connection is needed after the initial download.