Najlepszy LLM do kodowania na 8, 16 i 24 GB VRAM

Większość zestawień „najlepszy LLM do kodowania” ustawia w kolejce modele, których nikt u siebie nie uruchomi. To jest posortowane odwrotnie: według progu sprzętowego, który faktycznie masz. Każda tabela pokazuje autentyczne zapotrzebowanie modelu na VRAM przy Q4_K_M — ta sama matematyka stoi za naszym kalkulatorem zgodności GPU — plus próg karty i najmniejszą konfigurację pamięci zunifikowanej Maca, w której model się mieści.

Dwie rzeczy przed tabelami. Po pierwsze, modele do kodowania dzielą się na kodery agentowe (zbudowane po to, żeby prowadzić pętlę edycji w Continue, Cline albo Aiderze) i modele do autouzupełniania (małe, dostrojone pod fill-in-the-middle, oceniane po opóźnieniu). Poważne lokalne konfiguracje mają po jednym z każdej kategorii. Po drugie, czołówka zmienia się szybko, a publikowane wyniki benchmarków różnią się między źródłami i środowiskami testowymi, więc ta strona szereguje modele według tego, co mieści się na twoim sprzęcie, zamiast cytować wyniki. Datowaną, cytowalną migawkę całego krajobrazu znajdziesz w naszym Raporcie o lokalnej AI #2: najlepsze otwarte modele do kodowania. Jeśli chcesz zobaczyć wszystkie lokalne modele ocenione i uszeregowane pod kątem kodowania, a nie według progów sprzętowych, zajrzyj do pełnego rankingu →.

Sztuczka z offloadem MoE. Modele MoE z małą liczbą aktywnych parametrów potrzebują na GPU tylko swoich aktywnych ekspertów. Dzięki opcjom offloadu ekspertów w llama.cpp nieaktywni eksperci mogą leżeć w pamięci RAM, a aktywni zostają w VRAM. To wolniejsze niż wariant „wszystko w VRAM” z tabeli, ale zamienia „model klasy stacji roboczej” w coś, czego może używać dobrze wyposażony w RAM komputer do gier. Tabela pokazuje wariant wszystko-w-VRAM (najszybszy).

Sprawdź licencję, zanim zaczniesz standaryzować model. Kolumna Licencja w każdej tabeli pochodzi z rekordu danego modelu — przeczytaj ją, zanim coś na nim zbudujesz. Codestral 22B ma licencję MNPL (bez zastosowań produkcyjnych): do testów w domu w porządku, w firmowym przepływie pracy nie. StarCoder2 ma licencję BigCode OpenRAIL-M, która dopuszcza użycie komercyjne z ograniczeniami zależnymi od zastosowania. Jeśli dobierasz model do pracy, ta kolumna liczy się tak samo jak wynik jakiegokolwiek benchmarku.

Największe otwarte kodery — DeepSeek V4, GLM-5.x i Kimi K2.x — wymagają sprzętu klasy 80 GB z wieloma kartami. Dla samotnego programisty to modele przez API, nie lokalne. Wygrywa wzorzec: szybki lokalny koder do wewnętrznej pętli (autouzupełnianie, szybkie edycje, prywatny kod) plus model czołówki przez API do najtrudniejszych problemów. Nasz katalog chmurowej AI pokazuje, gdzie hostowany jest każdy model czołówki i ile kosztuje za token.

Jak wybierać z tych tabel. Zacznij od swojego VRAM-u, a nie od rankingu: wybierz największy koder agentowy, jaki twój próg uciągnie wygodnie, dodaj StarCoder 2 3B albo StarCoder 2 7B do autouzupełniania, jeśli karta ma zapas, i sprawdź dokładne dopasowanie do swojej karty — łącznie z opcjami kwantyzacji i zapasem na długość kontekstu — w kalkulatorze zgodności. Potem podepnij go do edytora według naszego przewodnika konfiguracji od początku do końca.