Poradnik 6: Kwantyzacja — dogłębne wyjaśnienie

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 10 lipca 2026

Kwantyzacja to proces zmniejszania precyzji wag modelu w celu oszczędzenia pamięci (VRAM) i przyspieszenia działania. Jej zrozumienie pomaga wybrać właściwy kompromis między jakością, szybkością a wym

W tym przewodniku

• Kwantyzacja: jakość a VRAM (model 7B)
• Formaty
• Konwencja nazewnictwa (GGUF)
• Wybór właściwej kwantyzacji

Kwantyzacja to proces zmniejszania precyzji wag modelu w celu oszczędzenia pamięci (VRAM) i przyspieszenia działania. Jej zrozumienie pomaga wybrać właściwy kompromis między jakością, szybkością a wymaganiami sprzętowymi.

Kwantyzacja: jakość a VRAM (model 7B)

Formaty

GGUF (GPT-Generated Unified Format)

Obecny standard dla inferencji na CPU i Apple Silicon. Pozwala dzielić model między pamięć RAM (CPU) a VRAM (GPU).

• Najlepszy dla: użytkowników Maca, osób z małą ilością VRAM.
• Narzędzia: Ollama, LM Studio.

EXL2 (ExLlamaV2)

Najszybszy format dla kart NVIDIA. Wymaga, aby model mieścił się w całości w VRAM.

• Najlepszy dla: posiadaczy RTX 3090/4090 szukających maksymalnej szybkości.

AWQ (Activation-aware Weight Quantization)

Solidny format obsługiwany przez wiele silników serwujących, takich jak vLLM.

Konwencja nazewnictwa (GGUF)

• Q2_K: 2-bitowy. Duża utrata jakości (perplexity). Używaj tylko dla ogromnych modeli na słabym sprzęcie.
• Q3_K_M: 3-bitowy. Przyzwoity dla modeli 70B.
• Q4_K_M: 4-bitowy. Złoty środek. Nieodróżnialny od FP16 w większości zadań.
• Q5_K_M: 5-bitowy. Nieco lepszy, nieco wolniejszy.
• Q6_K / Q8_0: malejące korzyści. Używaj tylko, gdy masz zapas VRAM.

Wybór właściwej kwantyzacji

Sytuacja	Zalecany format	Powód
Dużo VRAM (model mieści się z zapasem)	Q8_0	Niemal bezstratny, szybki
Ciasny VRAM (model ledwo się mieści)	Q4_K_M	Najlepsza jakość na GB
Model częściowo przelewa się na CPU	Q4_K_M lub Q3_K_M	Minimalizuje warstwy poza GPU
Bardzo ograniczony sprzęt (RPi, stary GPU)	Q2_K lub Q3_K_M	Jedyna opcja, która się mieści
Maksymalna dokładność (badania)	FP16 lub Q8_0	Brak artefaktów kompresji

← Wszystkie przewodniki | Sprawdź zgodność GPU