Wybór lokalnego dużego modelu językowego (LLM) przypomina wybór samochodu. Musisz zrównoważyć wydajność (szybkość), pojemność (liczbę parametrów) i spalanie (VRAM). Ten przewodnik dokładnie pokazuje, jak dobrać idealny model do Twojej konfiguracji.
1. Złota zasada: VRAM jest najważniejszy
W przeciwieństwie do modeli w chmurze, lokalne modele LLM działają w całości w pamięci karty graficznej (VRAM). Jeśli model jest większy niż Twój VRAM, „przelewa się” do pamięci systemowej (DDR4/DDR5), która jest 10–50× wolniejsza.
Szybka zasada kciuka:
- 8 GB VRAM: modele 7B lub 8B (skwantyzowane do Q4_K_M).
- 12 GB VRAM: modele 12B lub 14B (np. Mistral NeMo, Qwen 14B).
- 24 GB VRAM: modele 27B–35B (Gemma 2 27B, Command R) LUB mocno skwantyzowane modele 70B (Q2_K).
- Mac (pamięć zunifikowana): Apple Silicon korzysta z pamięci zunifikowanej. Mając 16 GB RAM, na modele możesz przeznaczyć realnie ok. 11 GB.
2. Rozmiar modelu (liczba parametrów)
Liczba w nazwie modelu (np. Llama 3 8B) oznacza liczbę parametrów (w miliardach).
- < 4B (małe): świetne na telefony lub Raspberry Pi. Szybkie, ale mniej inteligentne. (Przykład: Phi-3.5)
- 7B–9B (średnie): najlepszy wybór dla większości użytkowników. Dobre do rozmów i prostego kodowania. (Przykład: Llama 3.1 8B, Gemma 2 9B)
- 12B–35B (duże): wysoka inteligencja, lepsze rozumowanie. Wymaga 12 GB+ VRAM. (Przykład: Qwen 2.5 14B, Gemma 2 27B)
- 70B+ (ogromne): inteligencja klasy badawczej. Wolne na sprzęcie konsumenckim. (Przykład: Llama 3.1 70B)
3. Kwantyzacja: magiczny promień zmniejszający
Modele są trenowane w 16-bitowej precyzji (FP16), co czyni je ogromnymi. Kwantyzacja redukuje tę precyzję do 4 bitów (Q4) lub niżej, zmniejszając rozmiar pliku przy minimalnej utracie jakości.
- Q4_K_M: złoty standard. Dobra równowaga między rozmiarem a inteligencją.
- Q8_0: niemal bezstratny, ale duży.
- Q2_K: mocno skompresowany, zauważalne „uszkodzenie mózgu”.
4. Rekomendacje według zastosowania
- Kodowanie: wybierz Qwen 2.5 lub DeepSeek Coder — są dostrojone na repozytoriach kodu.
- Odgrywanie ról: wybierz Mistral lub wyspecjalizowane „fine-tune’y” jak Hermes.
- RAG (rozmowa z dokumentami): wybierz modele z dużym oknem kontekstu (128k), jak Llama 3.1 lub Mistral NeMo.
5. Kolejne kroki
Przejdź do zakładki Sprawdzenie sprzętu na tej stronie, aby automatycznie znaleźć najlepszy model dla Twojego zestawu.