Kwantyzacja to proces zmniejszania precyzji wag modelu w celu oszczędzenia pamięci (VRAM) i przyspieszenia działania. Jej zrozumienie pomaga wybrać właściwy kompromis między jakością, szybkością a wymaganiami sprzętowymi.
Kwantyzacja: jakość a VRAM (model 7B)
Formaty
GGUF (GPT-Generated Unified Format)
Obecny standard dla wnioskowania na CPU i Apple Silicon. Pozwala dzielić model między pamięć RAM (CPU) a VRAM (GPU).
- Najlepszy dla: użytkowników Maca, osób z małą ilością VRAM.
- Narzędzia: Ollama, LM Studio.
EXL2 (ExLlamaV2)
Najszybszy format dla kart NVIDIA. Wymaga, aby model mieścił się w całości w VRAM.
- Najlepszy dla: posiadaczy RTX 3090/4090 szukających maksymalnej szybkości.
AWQ (Activation-aware Weight Quantization)
Solidny format obsługiwany przez wiele silników serwujących, takich jak vLLM.
Konwencja nazewnictwa (GGUF)
- Q2_K: 2-bitowy. Duża utrata jakości (perplexity). Używaj tylko dla ogromnych modeli na słabym sprzęcie.
- Q3_K_M: 3-bitowy. Przyzwoity dla modeli 70B.
- Q4_K_M: 4-bitowy. Złoty środek. Nieodróżnialny od FP16 w większości zadań.
- Q5_K_M: 5-bitowy. Nieco lepszy, nieco wolniejszy.
- Q6_K / Q8_0: malejące korzyści. Używaj tylko, gdy masz zapas VRAM.
Wybór właściwej kwantyzacji
| Sytuacja | Zalecany format | Powód |
|---|---|---|
| Dużo VRAM (model mieści się z zapasem) | Q8_0 | Niemal bezstratny, szybki |
| Ciasny VRAM (model ledwo się mieści) | Q4_K_M | Najlepsza jakość na GB |
| Model częściowo przelewa się na CPU | Q4_K_M lub Q3_K_M | Minimalizuje warstwy poza GPU |
| Bardzo ograniczony sprzęt (RPi, stary GPU) | Q2_K lub Q3_K_M | Jedyna opcja, która się mieści |
| Maksymalna dokładność (badania) | FP16 lub Q8_0 | Brak artefaktów kompresji |