Lokalny agent kodujący od zera do działania: Ollama + Qwen3-Coder + VS Code

Skonfrontuj swoje GPU albo Maca z kalkulatorem zgodności — liczy VRAM tą samą matematyką co ten przewodnik. Progi, pod które celuje ten tekst: 8 GB VRAM → StarCoder 2 7B; 16 GB → Devstral Small 2 24B; 24 GB → Qwen 3.6 27B albo Qwen 2.5 Coder 32B; Mac 96 GB+ / 2×24 GB → Qwen3-Coder 80B-A3B. Na każdym progu, gdzie zostają wolne jakieś 3 GB, dołóż StarCoder2 3B do autouzupełniania.

Pobierz z ollama.com (instalatory dla macOS i Windowsa albo polecenie w jednej linii dla Linuksa) — pełny opis znajdziesz w naszym przewodniku instalacji Ollamy. Sprawdź, czy serwuje:

ollama --version
curl http://localhost:11434

Drugie polecenie powinno odpowiedzieć „Ollama is running”. Ten lokalny endpoint HTTP (port 11434) to właśnie adres, z którym będą rozmawiać rozszerzenia edytora.

Pobierz model odpowiadający progowi sprzętowemu z kroku 1:

# 8 GB VRAM
ollama pull starcoder2:7b
# 16 GB VRAM
ollama pull devstral-small-2:24b
# 24 GB VRAM
ollama pull qwen3.6:27b
# Mac 96GB+ unified / 2x24 GB
ollama pull qwen3-coder:80b-a3b-q4

Przetestuj go, zanim tkniesz edytor: ollama run starcoder2:7b "write a python function that merges two sorted lists". Jeśli tokeny lecą w tempie wygodnego czytania albo szybciej, jest dobrze.

Podpowiedzi w linii to gra o opóźnienie, nie o jakość — model 3B odpowiadający w 150 ms bije model 27B, który potrzebuje dwóch sekund. Obok modelu czatowego uruchom dedykowany model fill-in-the-middle:

ollama pull starcoder2:3b

Pomiń ten krok tylko wtedy, gdy twoje GPU siedzi już na granicy VRAM-u — Continue awaryjnie użyje wtedy do podpowiedzi modelu czatowego (wolniej, ale działa).

Zainstaluj Continue z marketplace'u VS Code (jest też wersja dla JetBrains). Otwórz konfigurację (ikona koła zębatego → config.yaml) i zarejestruj oba modele:

models:
  - name: Qwen3-Coder (local)
    provider: ollama
    model: starcoder2:7b        # podmień na model ze swojego progu
    roles: [chat, edit, apply]
  - name: StarCoder2 autocomplete
    provider: ollama
    model: starcoder2:3b
    roles: [autocomplete]

I to cała integracja: podpowiedzi ghost text w trakcie pisania, Cmd/Ctrl+L do czatu o zaznaczonym kodzie, Cmd/Ctrl+I do edycji w miejscu.

Continue asystuje; Cline jest agentem — dostaje zadanie, planuje, edytuje w wielu plikach, uruchamia polecenia i pokazuje ci diffy do zatwierdzenia. Zainstaluj Cline z marketplace'u, ustaw dostawcę API na Ollama i wybierz swój model czatowy. Jedno uczciwe zastrzeżenie: pętle agentowe błyskawicznie palą kontekst i mocno opierają się na możliwościach modelu. Na sprzęcie 8 GB trzymaj zadania małe i w obrębie jednego pliku; im większy model na twoim progu, tym więcej autonomii faktycznie działa. Który tool pasuje do jakiego trybu pracy, rozpisaliśmy w Continue kontra Cline kontra Aider.

Ollama domyślnie ustawia małe okno kontekstu, a agenty kodujące pożerają kontekst (prompt systemowy + zawartość plików + diffy). Podnieś je dla danego modelu:

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

albo ustaw num_ctx w Modelfile. 16K to sensowna dolna granica do pracy agentowej; wyżej idź tylko wtedy, gdy pozwala VRAM — cache KV rośnie razem z kontekstem, dlatego kalkulator zgodności pozwala jawnie wpisać długość kontekstu.

Test na żywo: otwórz projekt, poproś Continue o wyjaśnienie funkcji, przyjmij kilka podpowiedzi, a potem daj Cline'owi małe zadanie („dodaj walidację wejścia do tego endpointu i zaktualizuj jego test”). Jeśli podpowiedzi wloką się w miejscu, zejdź na mniejszy model autouzupełniania albo niższą kwantyzację. Jeśli edycje agenta zaczynają się rozjeżdżać, zwykle znaczy to, że model jest za mały do zadania, a nie że narzędzia zawodzą — sprawdź na liście modeli według progu, co twój sprzęt sensownie uciągnie, albo wynajmij większą kartę na jedno popołudnie przez katalog chmurowy i poczuj różnicę, zanim zdecydujesz się na zakup.