Znajdź odpowiedni model, sprzęt i konfigurację do swojego zadania.

LLM Configurator to darmowy silnik decyzji dla lokalnego AI. Sprawdza, które z 191 opublikowanych wariantów modeli open-weight zmieszczą się na Twoim GPU lub Macu, szacuje ich prędkość, porównuje sprzęt i koszty oraz prowadzi do 124 poradników. Każda wartość VRAM i szacunek prędkości pochodzą z jednego wspólnego wyliczenia, więc to samo pytanie ma tę samą odpowiedź na każdej stronie. Zacznij od sprawdzania GPU i VRAM.

Najpierw decyduje pamięć: model działa dobrze tylko wtedy, gdy jego wagi, pamięć kontekstu i narzut środowiska mieszczą się w VRAM karty lub w dostępnej pamięci współdzielonej Maca. Wybierz kartę, a uszeregujemy każdy mieszczący się model, z użytą kwantyzacją i szacowaną prędkością. Modele, które mieszczą się tylko dzięki pamięci RAM, pokazujemy osobno, bo działają znacznie wolniej. Gotowe odpowiedzi znajdziesz na stronach Czy uruchomię?.

Mniej więcej tyle, ile zajmują wagi modelu, plus pamięć kontekstu i niewielki narzut środowiska. Wagi rosną z całkowitą liczbą parametrów i kwantyzacją: Llama 3.1 8B potrzebuje ok. 16 GB na wagi w FP16, ale tylko 4.8 GB przy Q4_K_M. Modele mixture-of-experts potrzebują pamięci na WSZYSTKIE parametry, nie tylko aktywne. Dłuższy kontekst dokłada więcej. Nasz poradnik o wymaganiach VRAM przelicza to według rozmiaru modelu.

Dopasowanie pamięci liczymy z opublikowanej liczby parametrów modelu, bitów na wagę danej kwantyzacji i pamięci kontekstu, a potem porównujemy z dostępną pamięcią karty; dokładność zależy od założonego narzutu środowiska. Prędkość jest trudniejsza: to skalibrowany szacunek pokazywany jako zakres, a nie obietnica. Na stronie metodologii publikujemy każdy wzór i stałą, których używamy.

W większości szacowane i zawsze oznaczone. Cytujemy 14 zmierzonych przebiegów na 3 kartach GPU, każdy z podaniem publikującej go strony trzeciej; reszta to szacunki z modelu opóźnień skalibrowanego na tych przebiegach, pokazywane jako zakres, a nie jedna liczba. Zweryfikowane zgłoszenia czytelników pojawią się oznaczone jako wyniki społeczności. W bazie benchmarków widać, co jest czym.

Wybieraj najpierw według pamięci, potem przepustowości. Pamięć decyduje, które modele w ogóle się zmieszczą, a nic innego tego nie zastąpi, gdy model się nie mieści. Wśród kart z wystarczającą pamięcią przepustowość decyduje o tempie generowania tokenów. Cena za gigabajt VRAM liczy się bardziej niż wydajność w grach. Porównaj karty w tabeli porównawczej GPU.

Tak. Maki z Apple Silicon mają jedną pulę pamięci współdzielonej przez CPU i GPU, więc Mac z dużą ilością pamięci wczyta modele, których nie pomieści żadna pojedyncza konsumencka karta graficzna. Domyślnie GPU ma dostęp tylko do części tej puli; liczymy modele względem ok. 75% jej pojemności. Przepustowość mocno różni się między układami i to ona wyznacza prędkość. Nasz poradnik zakupu Maca porównuje układy i pojemności.

Zacznij od zadania, nie od rankingu. Kodowanie, agenci, wyszukiwanie w dokumentach, pisanie i tłumaczenie premiują różne modele. Potem odfiltruj to, co mieści się w Twojej pamięci przy rozsądnej kwantyzacji, i wybierz najmocniejszy model, który zostawia miejsce na potrzebny kontekst. Mniejszy model mieszczący się swobodnie zwykle wygrywa z większym wciśniętym w RAM. Nasze strony najlepszych modeli według zastosowania robią to za Ciebie.

VRAM to pamięć przylutowana do karty graficznej; korzysta z niej tylko GPU i jest bardzo szybka. Pamięć współdzielona, w Apple Silicon i niektórych mini-PC do AI, to jedna pula dla CPU i GPU, więc GPU może użyć jej znacznie więcej, ale część potrzebują też system i aplikacje. W lokalnym AI porównuj dostępną pamięć i przepustowość, a nie nazwę. Baza sprzętu podaje obie wartości dla każdego urządzenia.

Tak. Generator zestawów zaczyna od tego, co chcesz uruchamiać, i od budżetu, a potem rekomenduje zestaw GPU, RAM i dysku wraz z modelami, które każda konfiguracja naprawdę wczyta. Obejmuje też kompaktowe stacje AI i laptopy, jeśli nie chcesz obudowy typu tower. Każda rekomendacja prowadzi do wyników kompatybilności, więc sprawdzisz dopasowanie przed zakupem. Wypróbuj generator zestawów.

Tak. Po pobraniu modelu środowiska takie jak Ollama, LM Studio i llama.cpp uruchamiają go bez żadnego połączenia z internetem, a Twoje zapytania nie opuszczają komputera. Działa to też na telefonach z aplikacjami offline, przy znacznie mniejszej pamięci. Przy instalacji całkowicie odizolowanej pobierz modele i instalatory na komputerze z siecią, a potem je przenieś. Kroki opisuje nasz poradnik instalacji offline.

Nasze poradniki obejmują środowiska, których większość osób używa do lokalnych modeli: Ollama, LM Studio, llama.cpp, vLLM do wydajnego serwowania oraz MLX na Apple Silicon. Szacunki pamięci i prędkości zakładają kwantyzacje GGUF wczytywane przez te środowiska; vLLM i MLX używają własnych formatów, więc traktuj te liczby orientacyjnie. Dobrym początkiem jest nasze porównanie Ollama i LM Studio.

Około 66.6 GB przy Q4_K_M, bez kontekstu. Scout to model mixture-of-experts z 17B aktywnych i 109B wszystkich parametrów: na każdy token czytani są tylko aktywni eksperci, co daje prędkość, ale wszystkie 109B muszą być w pamięci. Dlatego potrzebuje maszyny z dużą pamięcią współdzieloną lub GPU z centrum danych, a Maverick ok. 242.3 GB. Wszystkie kwantyzacje znajdziesz na stronie modelu Llama 4 Scout.

Pełny DeepSeek R1 to model mixture-of-experts 671B, który przy Q4_K_M potrzebuje ok. 405.9 GB, czyli serwerów z wieloma GPU albo maszyn z bardzo dużą pamięcią współdzieloną. Modele R1 Distill to inne, znacznie mniejsze modele trenowane, by go naśladować: destylat Llama 8B potrzebuje ok. 5.6 GB, a destylat Qwen 32B ok. 20.1 GB. Porównaj je na stronie modelu DeepSeek R1.

Kwantyzacja zapisuje wagi modelu z mniejszą precyzją, co zmniejsza potrzebną pamięć. Llama 3.1 8B potrzebuje ok. 16 GB na wagi w FP16 i ok. 4.8 GB przy Q4_K_M, kosztem niewielkiej utraty jakości. Q4_K_M to typowy kompromis między rozmiarem a jakością; Q8_0 jest niemal bezstratna; poniżej Q4 jakość wyraźnie spada. Przeczytaj kwantyzację w praktyce, by poznać kompromisy.

Tak. llama.cpp i zbudowane na nim narzędzia, jak Ollama i LM Studio, uruchamiają modele na CPU bez karty graficznej. Jest to znacznie wolniejsze, bo RAM ma dużo mniejszą przepustowość niż VRAM, więc praktycznym wyborem są małe modele, a pamięci RAM musi wystarczyć na cały model. Sprawdzarka obsługuje komputer bez GPU. Nasz poradnik dla początkujących prowadzi przez pierwszą instalację.

Zależy od intensywności używania. Lokalne AI kosztuje sprzęt rozłożony na okres użytkowania oraz prąd za godziny pracy; AI w chmurze kosztuje za token lub za abonament. Intensywne, regularne używanie zwykle przemawia za własnym sprzętem, a okazjonalne za chmurą. Prywatność i praca offline mogą ważyć więcej niż cena. Wpisz własne dane w kalkulatorze kosztów lokalnie i w chmurze.