Sprawdzarka GPU i VRAM

To zależy od rozmiaru modelu. Przy kwantyzacji Q4_K_M i kontekście 8K mały model, taki jak Llama 3.2 3B, potrzebuje około 3,7 GB, model 8B, taki jak Llama 3.1 8B, około 6,7 GB, model 14B około 11,1 GB, a 32B około 22,8 GB: porównaj to z VRAM swojej karty. Model 70B (Llama 3.3 70B) potrzebuje około 45,7 GB, więcej niż mieści jakakolwiek pojedyncza karta konsumencka (RTX 5090 ma 32 GB), więc wymaga kilku GPU albo Maca z odpowiednio dużą pamięcią zunifikowaną. Na Apple Silicon GPU może domyślnie użyć około 75% pamięci zunifikowanej, więc Mac z 8 GB uruchamia małe modele, a Mac z 64 GB mieści model 70B z niewielkim zapasem (48 GB nie wystarcza). Zostaw wolną pamięć RAM dla systemu i warstw przeniesionych z GPU. Sprawdzacz powyżej dopasowuje Twoje dokładne GPU i RAM do 191 opublikowanych wariantów modeli, więc nie musisz zgadywać.

Przy kwantyzacji Q4_K_M i kontekście 8K model 7B (Qwen 2.5 7B) potrzebuje około 5,9 GB, model 13–14B (Qwen3 14B) około 11,1 GB, a model 70B (Llama 3.3 70B) około 45,7 GB. Każda z tych wartości obejmuje wagi, pamięć KV cache i około 0,8 GB narzutu środowiska uruchomieniowego. Q8_0 zapisuje 1,8 razy więcej bitów na wagę niż Q4_K_M, a FP16 3,3 razy więcej, więc ten sam model 70B potrzebuje około 77,9 GB w Q8_0 i 143,5 GB w FP16, czyli wielu GPU. Dłuższy kontekst powiększa KV cache: dla Llama 3.1 8B to 1,1 GB przy 8K. Na Apple Silicon model korzysta z pamięci zunifikowanej zamiast dedykowanego VRAM, więc Mac z 64 GB może uruchomić model 70B w Q4_K_M.

Modele pełnej precyzji przechowują każdą wagę w 16-bitowej liczbie zmiennoprzecinkowej (FP16/BF16), w formacie, w którym były trenowane, o najwyższej jakości. Modele skwantyzowane kompresują te wagi do 8, 4 lub mniej bitów, zmniejszając zużycie pamięci 1,9-krotnie w Q8_0 i 3,3-krotnie w Q4_K_M przy niewielkim i zwykle niezauważalnym spadku jakości. Na przykład wagi modelu Qwen 2.5 7B kurczą się z około 15,2 GB w FP16 do około 4,6 GB w Q4_K_M. O ile nie robisz fine-tuningu ani ewaluacji badawczych, kwantyzacja 4- lub 5-bitowa jest właściwym wyborem do lokalnego wnioskowania.

Temperatura kontroluje losowość: niższe wartości sprawiają, że wynik jest bardziej skupiony i powtarzalny, wyższe — bardziej zróżnicowany i kreatywny. Używaj 0,0–0,3 do pytań faktograficznych, programowania i ekstrakcji danych; 0,6–0,8 do ogólnego czatu i asystentów; oraz 0,9–1,2 do burzy mózgów lub pisania kreatywnego. Większość narzędzi domyślnie ustawia około 0,7–0,8, co jest rozsądnym punktem wyjścia. Jeśli chcesz większej różnorodności, zwykle lepiej dostosować top_p (próbkowanie jądrowe) niż mocno podnosić temperaturę.

Oprogramowanie jest darmowe i otwarte: Ollama, LM Studio, llama.cpp oraz same modele o otwartych wagach nic nie kosztują przy pobieraniu i uruchamianiu. Twoje jedyne realne koszty to sprzęt (GPU lub wydajny Mac) i energia elektryczna do jego zasilania. W przeciwieństwie do API w chmurze nie ma opłat za tokeny ani limitów zapytań, a Twoje dane nigdy nie opuszczają maszyny. Przy regularnym codziennym użyciu lokalna konfiguracja może się zwrócić; kalkulator kosztów na tej stronie oszacuje moment zwrotu na podstawie Twojego użycia i ceny energii.

llama.cpp to podstawowy silnik wnioskowania, na którym zbudowana jest większość lokalnych narzędzi — wybierz go, jeśli chcesz maksymalnej kontroli, skryptowania i najnowszych funkcji z wiersza poleceń. Ollama opakowuje llama.cpp w prosty interfejs wiersza poleceń oraz serwer w tle z API zgodnym z OpenAI, co czyni ją najłatwiejszą opcją dla programistów, którzy chcą wywoływać modele z kodu. LM Studio to dopracowana aplikacja desktopowa z graficznym interfejsem, przeglądarką modeli i czatem, idealna dla początkujących lub osób, które wolą klikać niż pisać. Wszystkie trzy są darmowe, uruchamiają te same pliki modeli GGUF i mogą współistnieć na jednej maszynie.

Tak. Ollama i llama.cpp obsługują wnioskowanie tylko na CPU i działa ono dla małych modeli. Jest znacznie wolniejsze niż na GPU, bo szybkość generowania wyznacza przepustowość pamięci, a pamięć RAM jest dużo wolniejsza od VRAM, więc nadaje się raczej do krótkich zapytań niż długich generacji. Cały model ładuje się do pamięci RAM, więc dobierz jej ilość do modelu: około 3,7 GB dla Llama 3.2 3B i 6,7 GB dla Llama 3.1 8B w Q4_K_M przy kontekście 8K, plus miejsce dla systemu. Aby uzyskać najlepsze działanie tylko na CPU, trzymaj się małych modeli w kwantyzacji Q4.

Q4_K_M to najlepszy uniwersalny wybór domyślny: zapisuje 3,3 razy mniej bitów na wagę niż FP16, a spadek jakości jest trudny do zauważenia w codziennym użyciu. Przejdź na Q5_K_M lub Q6_K, jeśli masz zapas VRAM i chcesz nieco większej dokładności, albo na Q8_0 dla niemal bezstratnego wyniku przy rozmiarze 1,8 razy większym niż Q4_K_M. Pełne FP16/BF16 zostaw na fine-tuning, ewaluację lub badania, gdzie liczy się każdy bit precyzji. Poniżej Q4 (Q3, Q2) plik nadal się kurczy, ale model zaczyna popełniać zauważalnie więcej błędów, więc schodź tam tylko po to, by zmieścić model, który inaczej się nie zmieści.