Ile VRAM potrzeba do lokalnych LLM?

Krótko: potrzebny VRAM ≈ parametry × bity na wagę ÷ 8, plus cache KV (rośnie z kontekstem) i około 0,8 GB narzutu. W Q4_K_M to mniej więcej 0,6 GB na miliard parametrów, więc model 8B potrzebuje ok. 7 GB przy kontekście 8K, model 32B ok. 23 GB, a 70B ok. 46 GB. Tabela poniżej jest policzona dla kilku modeli i kwantyzacji. Znajdź swój model, odczytaj wiersz i porównaj z kartą.

Potrzebny VRAM według rozmiaru modelu i kwantyzacji

VRAM w GB, policzony przez nasz silnik VRAM: wagi + cache KV przy kontekście 8K + narzut frameworka. W modelach Mixture-of-Experts kolumna Parametry celowo pokazuje obie liczby. VRAM wynika z liczby łącznej (wszystkie eksperty muszą być w pamięci, bo router może wybrać dowolny z nich na dowolnym tokenie). Szybkość wynika z liczby aktywnej (na token czytani są tylko wybrani eksperci). Dlatego Qwen 3 30B-A3B potrzebuje pamięci modelu 30B, ale generuje jak model 3B, a Llama 4 Scout wymaga maszyny klasy serwerowej mimo 17B aktywnych parametrów.

Wzór

Wagi zajmują parametry × bity na wagę ÷ 8 bajtów. Bity na wagę nie są nominalne, bo formaty kwantyzowane niosą metadane bloków:

Tylko wagi. Dolicz cache KV (rośnie z kontekstem) i ok. 0,8 GB narzutu frameworka. Bity na wagę obejmują metadane bloków kwantyzacji, więc Q4_K_M to 4,83 bita, a nie 4. Cache KV to pamięć, w której model przechowuje przebieg rozmowy. Rośnie liniowo z długością kontekstu i zależy od architektury: modele z niewielką liczbą głowic KV zużywają dużo mniej, modele w stylu DeepSeek i Kimi używają skompresowanego cache'u latentnego, a modele hybrydowe, jak Qwen3-Next, trzymają cache tylko w części warstw (12 z 48). llama.cpp potrafi też przechowywać cache z niższą precyzją: q8_0 zmniejsza go mniej więcej o połowę, a kwantyzacja cache'u V wymaga włączonego flash attention (dyskusja llama.cpp, wyjaśnienie błędu).

Co zmieści się w twoim VRAM

Największe modele mieszczące się przy danej ilości pamięci, według tego samego rachunku, bez przelewania do pamięci RAM:

Ten sam silnik: łączna liczba parametrów w Q4_K_M, kontekst 8K, bez przerzucania do pamięci RAM.

Długość kontekstu i ustawienia domyślne

Tabele zakładają kontekst 8K. Domyślny kontekst Ollama zależy od VRAM: 4K poniżej 24 GiB, 32K od 24 do 48 GiB i 256K od 48 GiB (dokumentacja Ollama, Fast.io). Większy kontekst wymaga więcej pamięci, więc model, który mieści się przy 8K, może się nie załadować przy 128K. Ustaw kontekst jawnie, gdy dobierasz model.

Apple Silicon: pamięć zunifikowana

Apple Silicon dzieli jedną pulę pamięci między CPU i GPU, więc Mac z 64 GB pomieści modele, których nie pomieści karta 24 GB. macOS domyślnie nie oddaje GPU całości: limit to mniej więcej dwie trzecie RAM w maszynach do 36 GB i około trzy czwarte powyżej (ModelPiper, poradnik Apple Silicon LLM). Możesz go podnieść ustawieniem iogpu.wired_limit_mb. Przepustowość pamięci jest niższa niż w szybkim dyskretnym GPU, więc dla tego samego modelu tokenów na sekundę jest mniej.

Co się dzieje, gdy model się nie mieści

Jeśli model się nie mieści, środowisko przenosi część warstw do pamięci RAM. Nadal działa, ale tempo generowania spada do ułamka szybkości GPU, i im więcej warstw przeniesiono, tym wolniej. Użyj kalkulatora zgodności GPU, by zobaczyć werdykt dla swojej karty, modelu i kontekstu, zanim cokolwiek pobierzesz.

Jeśli ciągle trafiasz w limit, kolejnym krokiem jest więcej VRAM. Zobacz poradnik zakupowy GPU z kartami według progów, z ceną startową i ceną rynkową z datą.

Najczęstsze pytania

Ile VRAM potrzeba do modelu 70B?

Około 46 GB w Q4_K_M przy kontekście 8K, czyli dwie karty 24 GB, karta stacji roboczej 48 GB albo Mac z 64 GB lub więcej pamięci zunifikowanej. Pojedyncza karta 24 GB go nie pomieści.

Jak długość kontekstu wpływa na VRAM?

Przez cache KV, który rośnie liniowo z liczbą tokenów. Rozmiar zależy od architektury modelu, więc zamiast stałej reguły użyj kalkulatora. Kwantyzacja cache'u KV do q8_0 zmniejsza go mniej więcej o połowę.

Co się dzieje, gdy model nie mieści się w VRAM?

Środowisko przenosi warstwy do pamięci RAM, a generowanie wyraźnie zwalnia. Do okazjonalnego użytku wystarcza, ale przy długich dokumentach bywa frustrujące.

Czy można używać dwóch GPU razem do lokalnych LLM?

Tak. llama.cpp i Ollama potrafią podzielić model między kilka GPU, więc dwie karty 24 GB dają pulę 48 GB. Przepustowość między kartami wpływa na szybkość, ale NVLink nie jest wymagany.

Czy kwantyzacja Q4 wystarcza?

Q4_K_M to popularny domyślny wybór i dobrze sprawdza się w większości zadań, ale to kompromis: formaty o większej liczbie bitów, jak Q5_K_M czy Q8_0, tracą mniej jakości i kosztują więcej pamięci. Formaty o bardzo niskiej liczbie bitów wyraźniej pogarszają wyniki w złożonym rozumowaniu.

→ Sprawdź, czy model zmieści się na twojej karcie | → Najlepsze GPU według progu VRAM