Autor: Jakub Rusinowski · Ostatnia aktualizacja: 10 lipca 2026
Ostatnia aktualizacja: czerwiec 2026 — VRAM (pamięć karty graficznej) to najważniejszy pojedynczy czynnik przy uruchamianiu lokalnych modeli LLM. Ten przewodnik dokładnie wyjaśnia, ile go potrzebujesz
Ostatnia aktualizacja: czerwiec 2026 — VRAM (pamięć karty graficznej) to najważniejszy pojedynczy czynnik przy uruchamianiu lokalnych modeli LLM. Ten przewodnik dokładnie wyjaśnia, ile go potrzebujesz, jaka matematyka za tym stoi i które karty GPU trafiają w złoty środek.
Zapotrzebowanie modelu na VRAM zależy przede wszystkim od:
VRAM needed ≈ (Parameters × Bytes per parameter) + Context buffer (~2GB)Popularne formaty kwantyzacji i ich liczba bajtów na parametr:
| Format | Bity na wagę | Bajty na miliard parametrów | Jakość vs FP16 |
|---|---|---|---|
| FP16 (bez kwantyzacji) | 16-bit | 2,0 GB | 100% (poziom bazowy) |
| Q8_0 | 8-bit | 1,0 GB | ~99% |
| Q4_K_M | 4-bit | 0,5 GB | ~95% |
| Q2_K | 2-bit | 0,25 GB | ~85% |
Przykład: Llama 3.1 8B w Q4_K_M = (8 × 0,5) + 2 = 6 GB VRAM
| Model | Rozmiar | VRAM Q4_K_M | VRAM Q8_0 | Najlepszy poziom GPU |
|---|---|---|---|---|
| Qwen 3.5 0.8B | 0.8B | ~1 GB | ~2 GB | Dowolne urządzenie (grafika zintegrowana) |
| Qwen 3.5 2B | 2B | ~2 GB | ~3 GB | Dowolne GPU (4GB+), smartfony |
| Gemma 4 E2B | 2B | ~3 GB | ~5 GB | Dowolne GPU (4GB+) |
| Qwen 3.5 4B | 4B | ~3.5 GB | ~6 GB | Dowolne GPU (4GB+) |
| Gemma 3 4B | 4B | 3.8 GB | 6 GB | Dowolne GPU (4GB+) |
| Phi-4 Mini | 3.8B | 4 GB | 5.5 GB | Dowolne GPU (4GB+) |
| Gemma 4 E4B | 4B (wydajny) | ~5.5 GB | ~9 GB | RTX 4060 8GB, Mac serii M |
| Llama 3.1 8B | 8B | 6 GB | 9 GB | RTX 4060 8GB |
| Qwen 3.5 9B | 9B | ~7 GB | ~11 GB | RTX 4060 8GB (na styk) / RTX 4060 Ti |
| Cogito v1 8B | 8B | ~5 GB | ~8 GB | RTX 4060 8GB |
| Gemma 3 12B | 12B | 8.1 GB | 13 GB | RTX 4060 Ti / 4070 |
| Qwen 2.5 14B | 14B | 9.5 GB | 15 GB | RTX 4070 12GB |
| Cogito v1 14B | 14B | ~9 GB | ~14 GB | RTX 4070 12GB |
| Devstral-2 22B | 22B | ~13 GB | ~22 GB | RTX 3090 / 4090 |
| Llama 4 Scout | 17B aktywnych (MoE) | 10.5 GB | 18 GB | RTX 4080 / 4090 |
| Qwen 3.5 27B | 27B | ~17 GB | ~28 GB | RTX 3090 / 4090 24GB |
| Gemma 3 27B | 27B | 16.5 GB | 28 GB | RTX 4080 / 4090 |
| Gemma 4 26B-A4B | 26B (4B aktywnych, MoE) | ~16 GB | ~27 GB | RTX 3090 / 4090 |
| Gemma 4 31B | 31B | ~18 GB | ~31 GB | RTX 3090 / 4090 |
| Nemotron Cascade 2 30B | 30B (hybrydowy SSM) | ~17 GB | ~30 GB | RTX 4060 Ti 16GB |
| Cogito v1 32B | 32B | ~20 GB | ~32 GB | RTX 3090 / 4090 24GB |
| DeepSeek R1 32B | 32B | 20 GB | 33 GB | RTX 4090 24GB |
| Llama 4 Maverick | 17B aktywnych (MoE) | 24 GB | — | RTX 4090 / Mac M4 Max |
| Qwen 3.5 35B-A3B | 35B (3B aktywnych, MoE) | ~20 GB | ~35 GB | RTX 4090 24GB |
| Llama 3.3 70B | 70B | 40 GB | 71 GB | Multi-GPU lub Mac Ultra |
| Cogito v1 70B | 70B | ~40 GB | ~70 GB | Podwójny RTX 3090 / Mac M4 Ultra |
| Nemotron Cascade 2 70B | 70B (hybrydowy SSM) | ~40 GB | ~70 GB | Podwójny RTX 3090 / Mac M4 Ultra |
| Qwen 3.5 122B-A10B | 122B (10B aktywnych, MoE) | ~68 GB | — | Klaster multi-GPU |
| GPT-oss 120B | 120B | ~65 GB | — | Podwójny RTX 3090 / A100 80GB |
| Devstral-2 123B | 123B (40B aktywnych, MoE) | ~68 GB | — | Stacja z dwoma GPU |
| DeepSeek V3.2 685B | 685B (37B aktywnych, MoE) | ~370 GB | — | Klaster multi-GPU |
| Qwen 3.5 397B-A17B | 397B (17B aktywnych, MoE) | ~220 GB | — | Klaster multi-GPU |
| GLM-5 744B | 744B (40B aktywnych, MoE) | ~400 GB | — | Tylko centrum danych |
| Kimi K2.5 1T | 1T+ | ~550 GB | — | Tylko API |
> Wskazówka: Modele MoE (Mixture-of-Experts), takie jak Llama 4 Scout i Qwen 3.5 35B-A3B, zużywają znacznie mniej VRAM, niż sugeruje ich całkowita liczba parametrów — na jeden token uruchamiają się tylko aktywne parametry.
Apple Silicon (M1/M2/M3/M4) korzysta z pamięci zunifikowanej współdzielonej przez CPU i GPU. Oznacza to:
Na Apple Silicon Ollama automatycznie wykorzystuje 70% pamięci zunifikowanej jako efektywny budżet VRAM.
Jeśli model nie mieści się w VRAM, przelewa się do pamięci systemowej (odciążanie na CPU):
Odciążanie na CPU jest do przyjęcia przy zadaniach o niskim opóźnieniu (np. krótkie pytania), ale frustrujące przy długich dokumentach.
| GPU | VRAM | Cena (szac.) | Najlepszy poziom modeli |
|---|---|---|---|
| RTX 4060 8GB | 8 GB | ~$300 | Llama 3.1 8B, Qwen 3.5 9B, Gemma 4 E4B |
| RX 7600 8GB | 8 GB | ~$250 | Llama 3.1 8B (alternatywa AMD) |
| RTX 4060 Ti 16GB | 16 GB | ~$450 | Gemma 4 26B-A4B, Nemotron Cascade 2 30B |
| RTX 4070 12GB | 12 GB | ~$550 | Gemma 3 12B, Devstral-2 22B |
| RTX 4070 Ti Super 16GB | 16 GB | ~$750 | Gemma 4 31B, Qwen 3.5 27B |
| RX 7900 XTX 24GB | 24 GB | ~$800 | DeepSeek R1 32B, Qwen 3.5 35B-A3B |
| RTX 4090 24GB | 24 GB | ~$1,600 | Cogito v1 32B, Qwen 3.5 35B-A3B, Llama 4 Maverick |
| RTX 5090 32GB | 32 GB | ~$2,000 | Qwen 3.5 27B Q8, Llama 3.3 70B (częściowo) |
| Podwójny RTX 3090 | 48 GB | ~$1,400 | Llama 3.3 70B, Cogito v1 70B |
| Podwójny RTX 4090 | 48 GB | ~$3,200 | Llama 3.3 70B Q4 przy 55+ t/s |
→ Pełny przewodnik zakupowy GPU | → Sprawdź swój sprzęt
Ile VRAM dla Llama 3 70B? Llama 3 70B w Q4_K_M wymaga około 40–43 GB VRAM. Uruchom ją na dwóch RTX 3090/4090 (łącznie 48 GB) lub na Apple Silicon z 64 GB+ pamięci zunifikowanej.
Jak długość kontekstu wpływa na zużycie VRAM? Długość kontekstu zwiększa VRAM przez pamięć KV. Przy 4k kontekstu model 7B używa ~0,3 GB więcej; przy 32k ~2,5 GB więcej; przy 128k ~10 GB więcej.
Co się dzieje, gdy model nie mieści się w VRAM? Ollama automatycznie odciąża warstwy na CPU/RAM. Model 70B na GPU 24 GB działa przy 3–8 tokenach/s zamiast 30+. Steruj tym parametrem num_gpu.
Czy można używać dwóch kart GPU razem do lokalnych LLM? Tak — Ollama i llama.cpp obsługują multi-GPU przez równoległość tensorową. Dwie RTX 3090 dają 48 GB VRAM, wystarczająco dla Llama 3 70B w Q4. NVLink nie jest wymagany.
Czy kwantyzacja Q4 ma wystarczającą jakość? Q4_K_M to standard społeczności — nieodróżnialny od Q8 w większości zadań. Perplexity rośnie o ~0,2–0,5 punktu względem FP16. Q2 wykazuje zauważalną degradację przy złożonym rozumowaniu.