Lokalny LLM na Linuksie — rozwiązywanie problemów
GPU znika po aktualizacji jądra, niezgodność wersji NVML, Secure Boot odrzucający sterownik, systemd ignorujący twoje zmienne — linuksowe rozwiązania z gotowymi poleceniami.
ollama psNa Linuksie GPU albo działa, albo nie ma go wcale — a jeśli go nie ma, prawie zawsze winny jest moduł jądra, nie karta. Pakiet ze sterownikiem na dysku i moduł w działającym jądrze to dwie różne rzeczy, a wszystko, co zmienia jedno bez drugiego — apt upgrade, który zainstalował nowe jądro, podbicie sterownika przy wciąż załadowanym starym module, Secure Boot odmawiający wczytania niepodpisanego kodu — kończy się tym samym zdawkowym komunikatem o niemożności skomunikowania się ze sterownikiem NVIDII.
Druga rodzina linuksowych problemów nie ma ze sprzętem nic wspólnego: chodzi o to, na jakim użytkowniku i w jakim środowisku działa twoje wnioskowanie. Instalator Ollamy zakłada usługę systemd działającą na własnym koncie, więc zmienne wyeksportowane w twojej powłoce konfigurują twoją powłokę i nic poza tym. Węzły urządzeń obliczeniowych AMD należą do grup render i video, przez co ROCm działa spod sudo, a na twoim koncie już nie. Kontenery widzą GPU wyłącznie wtedy, gdy NVIDIA Container Toolkit został wpięty w środowisko uruchomieniowe Dockera.
Przy każdym rozwiązaniu poniżej podajemy polecenie dla Ubuntu i Debiana, a tam, gdzie naprawdę się różni — także odpowiednik dla Fedory lub Arch Linuksa. Zacznij od nvidia-smi albo rocminfo: jeśli karty nie ma na liście, jesteś w pierwszej grupie; jeśli jest, a mimo to nic z niej nie korzysta — w drugiej.
- CUDA out of memorytorch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 8.00 GiB total capacity; 7.21 GiB already allocated)
- Ollama: „model requires more system memory than is available”Error: model requires more system memory (9.2 GiB) than is available (7.6 GiB)
- LM Studio: „Failed to load model” (za mało pamięci)Failed to load model. Error loading model: unable to allocate backend buffer
- „No CUDA-capable device is detected”RuntimeError: No CUDA-capable device is detected
- Brak pamięci przy długim kontekście (winny jest cache KV, nie wagi)llama_new_context_with_model: failed to allocate KV cache
- GPU AMD niewykrywane / ROCm nieobsługiwany (Ollama i llama.cpp)Error: no compatible GPUs were discovered
- Brak miejsca na dysku / nieudane pobieranie GGUF przy dużych modelachError: write /root/.ollama/models/blobs/sha256-...: no space left on device
- Ollama „connection refused”curl: (7) Failed to connect to localhost port 11434: Connection refused
- CUDA działa na Windowsie, ale nie w WSL2NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
- nvidia-smi przestało działać po aktualizacji jądraNVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
- „Failed to initialize NVML: Driver/library version mismatch”Failed to initialize NVML: Driver/library version mismatch
- Secure Boot blokuje moduł sterownika GPUmodprobe: ERROR: could not insert 'nvidia': Key was rejected by service
- Twój kontener Dockera nie widzi GPUdocker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
- ROCm nie obsługuje twojej karty AMDError: no compatible GPUs were discovered
- „Permission denied” na /dev/kfdUnable to open /dev/kfd read-write: Permission denied
- Ollama na serwerze linuksowym bez monitoraError: write /usr/share/ollama/.ollama/models/blobs/sha256-...: no space left on device
- Którą kwantyzację GGUF pobrać? (Q4, Q5 czy Q8)Which GGUF quant should I download?
- Lokalny LLM powtarza się albo utknął w pętliThe same sentence again. The same sentence again. The same sentence again. The same sentence ag
- Lokalny LLM wypisuje bełkot? Zły szablon czatu, nie brak VRAM-u<|im_start|>assistant<|im_end|> <|im_start|>user I I I the the of of<|endoftext|>assistantassistant