Lokalny LLM nie działa na Windowsie

Windows psuje lokalną AI na sposoby, których pozostałe dwie platformy w większości nie znają — i prawie żaden z nich nie zgłasza się jako błąd. Sterownik się instaluje, model się ładuje, generowanie rusza — tyle że na CPU, z prędkością czterech tokenów na sekundę, podczas gdy sprawny RTX stoi na zerze. Tak wygląda większość windowsowych problemów w tym dziale: coś po cichu wybrało wolniejszą drogę i nikt cię o tym nie uprzedził.

Winowajcy są w zasadzie czterej. Sterownik NVIDII na Windowsie, zamiast zgłosić brak pamięci, przenosi nadmiar do RAM-u — więc za duży model nie odmawia uczciwie, tylko zwalnia. Ollama instaluje się w profilu użytkownika, bez uprawnień administratora, więc terminal otwarty wcześniej (albo uruchomiony jako administrator) po prostu jej nie widzi. Laptopy hybrydowe domyślnie podsuwają procesom konsolowym zintegrowaną kartę. A WSL2 ma własną warstwę sterowników, którą instalacja linuksowego sterownika wewnątrz dystrybucji — wykonana w najlepszej wierze — potrafi bezszelestnie zniszczyć.

Zacznij od tabeli diagnostycznej na stronie, która pasuje do twojego objawu. Jeśli objawu jeszcze nie masz, uruchom ollama ps i spójrz na kolumnę Processor — 100% GPU, 100% CPU albo podział między nimi powie ci, w której połowie tej listy jesteś.