DeepSeek R1 Distill Llama 8B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
A highly efficient distilled version based on Llama 3. Incredible reasoning performance for its size.
DeepSeek R1 Distill Llama 8B potrzebuje około 6 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 4.5 GB | ~155 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 5.3 GB | ~134 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 6.7 GB | ~107 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 7.5 GB | ~96 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 8.4 GB | ~86 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 10.4 GB | ~70 tok/s | Mieści się | |
| F16 16.00 bpw | 17.9 GB | ~41 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla DeepSeek R1 Distill Llama 8B →
Uruchom DeepSeek R1 Distill Llama 8B
Najtańsze GPU z naszego katalogu, które uruchomi DeepSeek R1 Distill Llama 8B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić DeepSeek R1 Distill Llama 8B
Zainstaluj Ollama, a potem uruchom:
ollama run deepseek-r1:8bSpecyfikacja
Curated — A hand-written entry from before this catalogue recorded its sources. The figures are long-standing but their provenance is not on file.
- Parametry
- 8 Billion
- Okno kontekstu
- 128,000
- Architektura
- Dense
- Dostawca
- DeepSeek
- Licencja
- MIT
- Practical deployment
- Laptop
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2025-01-20
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Czy uruchomię DeepSeek R1 Distill Llama 8B na moim GPU?
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 7800 XT
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 7900 XT
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 7900 XTX
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 9060 XT 16GB
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 9070
- DeepSeek R1 Distill Llama 8B na AMD Radeon RX 9070 XT
- DeepSeek R1 Distill Llama 8B na Apple M1
- DeepSeek R1 Distill Llama 8B na Apple M1 Pro
- DeepSeek R1 Distill Llama 8B na Apple M2 Pro
- DeepSeek R1 Distill Llama 8B na Apple M3 Pro
- DeepSeek R1 Distill Llama 8B na Apple M4
- DeepSeek R1 Distill Llama 8B na Apple M5
- DeepSeek R1 Distill Llama 8B na Intel Arc B580
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 3060 (12GB)
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 3090
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4060 Ti 16GB
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4070
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4070 Super
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4070 Ti
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4070 Ti Super
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4080
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4080 Super
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 4090
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 5060 Ti 16GB
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 5070
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 5070 Ti
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 5080
- DeepSeek R1 Distill Llama 8B na NVIDIA GeForce RTX 5090
- DeepSeek R1 Distill Llama 8B na NVIDIA L40S
- DeepSeek R1 Distill Llama 8B na NVIDIA RTX 6000 Ada Generation
Inne rozmiary DeepSeek R1
DeepSeek R1 Distill Llama 8B — najczęściej zadawane pytania
How much VRAM does DeepSeek R1 Distill Llama 8B need?
About 6 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does DeepSeek R1 Distill Llama 8B run on an RTX 4090 (24 GB)?
Yes. DeepSeek R1 Distill Llama 8B needs about 6 GB at Q4_K_M, inside a 24 GB card, at an estimated 107 tokens/sec.
How do I run DeepSeek R1 Distill Llama 8B locally?
Install Ollama and run `ollama run deepseek-r1:8b`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.
What other sizes does DeepSeek R1 come in?
DeepSeek R1 Distill Llama 8B (6 GB), DeepSeek R1 Distill Qwen 32B (20 GB), DeepSeek R1 Distill Qwen 14B (9 GB), DeepSeek R1 (671B) (406 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.