Qwen3-Coder lokalnie: 8B, 80B-A3B i pytanie o 480B

Qwen3-Coder to rodzina, którą ten dział poleca częściej niż jakąkolwiek inną, z jednego powodu: to najmocniejsza dedykowana otwarta linia kodująca, jaką faktycznie da się pobrać — flagowy 480B ustanowił otwarty szczyt na SWE-bench Verified (69,6%), a mniejsze rozmiary dziedziczą po jego treningu. Apache 2.0 w całej linii, obsługa fill-in-the-middle pod autouzupełnianie i pierwszoklasowe tagi w Ollamie.\n\nRodzina rozpina się na 36-krotnej różnicy rozmiaru, więc „czy to uruchomię?” ma trzy bardzo różne odpowiedzi:

Przy zainstalowanej Ollamie:

ollama pull qwen3-coder:30b
ollama run qwen3-coder:30b "refactor this to use a context manager: ..."

A dla 80B na odpowiednim sprzęcie:

ollama pull qwen3-coder:80b-a3b-q4

Potem wepnij go w VS Code przez Continue albo Cline — konfigurację opisuje przewodnik od zera do działania. Do pracy agentowej podnieś okno kontekstu (minimum 16K), tak jak tam napisano; Qwen3-Coder obsługuje długie konteksty, ale prawdziwym sufitem jest VRAM zajęty przez cache KV — dokładną parę karta plus kontekst policz w kalkulatorze.

Ponieważ na token aktywuje się tylko jakieś 3B parametrów, llama.cpp (a w nowszych wydaniach także Ollama) potrafi trzymać wspólne warstwy plus aktywnych ekspertów w VRAM-ie, a resztę stronicować z RAM-u systemowego. W praktyce: jakieś 8 GB VRAM plus 32 GB RAM-u systemowego uruchamia 80B-A3B z szybkością używalną, choć nie żwawą — parę tokenów na sekundę wolniej niż przy całości w VRAM-ie, ale w jakości dramatycznie lepiej niż wszystko inne, czego dotknie karta 8 GB.\n\nKiedy się opłaca: przy zadaniach zleconych, gdy odpalasz robotę w Aiderze albo Cline i przeglądasz wynik. Kiedy nie: przy interaktywnym autouzupełnianiu — do tego zostaw 8B. To obecnie najlepsza sztuczka „jakość za pieniądze” w lokalnym kodowaniu i dlatego RAM systemowy wpisujemy jako pełnoprawny parametr, a nie dodatek na doczepkę.

• Karta 8 GB / Mac 16 GB → 8B jako model do wszystkiego. StarCoder2 3B dokładaj tylko wtedy, gdy chcesz jeszcze szybszego ghost text.\n- Karta 16–24 GB → 8B do autouzupełniania, a do czatu i pracy agentowej rozważ szczerze Qwen 3.6 27B albo Devstral Small 2 24B — na tym progu ogólna linia Qwen 3.6 wyprzedza średnie rozmiary Codera.\n- 32 GB RAM-u i więcej, niezależnie od karty → spróbuj 80B-A3B z offloadem do zadań zleconych. Test nie kosztuje nic poza miejscem na dysku.\n- 2×24 GB / Mac od 96 GB → 80B-A3B w całości w VRAM-ie. To najlepsze lokalne doświadczenie kodowania dostępne dziś bez serwerowni.\n- Potrzebujesz 480B → hostowane endpointy (zobacz katalog chmurowy) — te same wagi, ta sama licencja Apache 2.0, cudze 290 GB.