Poradnik 1: Jak wybrać odpowiedni lokalny model LLM do swojego sprzętu

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 10 lipca 2026

Wybór lokalnego dużego modelu językowego (LLM) przypomina wybór samochodu. Musisz zrównoważyć wydajność (szybkość), pojemność (liczbę parametrów) i spalanie (VRAM). Ten przewodnik dokładnie pokazuje,

W tym przewodniku

• 1. Złota zasada: VRAM jest najważniejszy
• 2. Rozmiar modelu (liczba parametrów)
• 3. Kwantyzacja: magiczny promień zmniejszający
• 4. Rekomendacje według zastosowania
• 5. Kolejne kroki

Wybór lokalnego dużego modelu językowego (LLM) przypomina wybór samochodu. Musisz zrównoważyć wydajność (szybkość), pojemność (liczbę parametrów) i spalanie (VRAM). Ten przewodnik dokładnie pokazuje, jak dobrać idealny model do Twojej konfiguracji.

1. Złota zasada: VRAM jest najważniejszy

W przeciwieństwie do modeli w chmurze, lokalne modele LLM działają w całości w pamięci karty graficznej (VRAM). Jeśli model jest większy niż Twój VRAM, „przelewa się” do pamięci systemowej (DDR4/DDR5), która jest 10–50× wolniejsza.

Szybka zasada kciuka:

• 8 GB VRAM: modele 7B lub 8B (skwantyzowane do Q4_K_M).
• 12 GB VRAM: modele 12B lub 14B (np. Mistral NeMo, Qwen 14B).
• 24 GB VRAM: modele 27B–35B (Gemma 2 27B, Command R) LUB mocno skwantyzowane modele 70B (Q2_K).
• Mac (pamięć zunifikowana): Apple Silicon korzysta z pamięci zunifikowanej. Mając 16 GB RAM, na modele możesz przeznaczyć realnie ok. 11 GB.

2. Rozmiar modelu (liczba parametrów)

Liczba w nazwie modelu (np. Llama 3 8B) oznacza liczbę parametrów (w miliardach).

• < 4B (małe): świetne na telefony lub Raspberry Pi. Szybkie, ale mniej inteligentne. (Przykład: Phi-3.5)
• 7B–9B (średnie): najlepszy wybór dla większości użytkowników. Dobre do rozmów i prostego kodowania. (Przykład: Llama 3.1 8B, Gemma 2 9B)
• 12B–35B (duże): wysoka inteligencja, lepsze rozumowanie. Wymaga 12 GB+ VRAM. (Przykład: Qwen 2.5 14B, Gemma 2 27B)
• 70B+ (ogromne): inteligencja klasy badawczej. Wolne na sprzęcie konsumenckim. (Przykład: Llama 3.1 70B)

3. Kwantyzacja: magiczny promień zmniejszający

Modele są trenowane w 16-bitowej precyzji (FP16), co czyni je ogromnymi. Kwantyzacja redukuje tę precyzję do 4 bitów (Q4) lub niżej, zmniejszając rozmiar pliku przy minimalnej utracie jakości.

• Q4_K_M: złoty standard. Dobra równowaga między rozmiarem a inteligencją.
• Q8_0: niemal bezstratny, ale duży.
• Q2_K: mocno skompresowany, zauważalne „uszkodzenie mózgu”.

4. Rekomendacje według zastosowania

• Kodowanie: wybierz Qwen 2.5 lub DeepSeek Coder — są dostrojone na repozytoriach kodu.
• Odgrywanie ról: wybierz Mistral lub wyspecjalizowane „fine-tune’y” jak Hermes.
• RAG (rozmowa z dokumentami): wybierz modele z dużym oknem kontekstu (128k), jak Llama 3.1 lub Mistral NeMo.

5. Kolejne kroki

Przejdź do zakładki Sprawdzenie sprzętu na tej stronie, aby automatycznie znaleźć najlepszy model dla Twojego zestawu.

← Wszystkie przewodniki | Sprawdź zgodność GPU