Na Linuksie GPU albo działa, albo nie ma go wcale — a jeśli go nie ma, prawie zawsze winny jest moduł jądra, nie karta. Pakiet ze sterownikiem na dysku i moduł w działającym jądrze to dwie różne rzeczy, a wszystko, co zmienia jedno bez drugiego — apt upgrade, który zainstalował nowe jądro, podbicie sterownika przy wciąż załadowanym starym module, Secure Boot odmawiający wczytania niepodpisanego kodu — kończy się tym samym zdawkowym komunikatem o niemożności skomunikowania się ze sterownikiem NVIDII.
Druga rodzina linuksowych problemów nie ma ze sprzętem nic wspólnego: chodzi o to, na jakim użytkowniku i w jakim środowisku działa twoje wnioskowanie. Instalator Ollamy zakłada usługę systemd działającą na własnym koncie, więc zmienne wyeksportowane w twojej powłoce konfigurują twoją powłokę i nic poza tym. Węzły urządzeń obliczeniowych AMD należą do grup render i video, przez co ROCm działa spod sudo, a na twoim koncie już nie. Kontenery widzą GPU wyłącznie wtedy, gdy NVIDIA Container Toolkit został wpięty w środowisko uruchomieniowe Dockera.
Przy każdym rozwiązaniu poniżej podajemy polecenie dla Ubuntu i Debiana, a tam, gdzie naprawdę się różni — także odpowiednik dla Fedory lub Arch Linuksa. Zacznij od nvidia-smi albo rocminfo: jeśli karty nie ma na liście, jesteś w pierwszej grupie; jeśli jest, a mimo to nic z niej nie korzysta — w drugiej.