„Failed to initialize NVML: Driver/library version mismatch”

nvidia-smi zgłasza błąd, choć nic nie restartowałem

Autor Jakub Rusinowski

Błąd

Failed to initialize NVML: Driver/library version mismatch
NVML library version: 580.65

CUDA driver version is insufficient for CUDA runtime version

1. 1

   Zrestartuj komputer

   Uczciwa pierwsza odpowiedź. Restart ładuje nowy moduł przy nowych bibliotekach, zajmuje jakieś czterdzieści sekund i i tak zrobisz to samo, jeśli ręczna droga poniżej się nie powiedzie. Cała reszta tej strony istnieje dla maszyn, których naprawdę nie możesz zrestartować — współdzielonego serwera, treningu, którego nie chcesz stracić, maszyny z innymi użytkownikami. Jeśli nic z tego cię nie dotyczy, przestań czytać i zrestartuj.

   bashKopiuj

   # bash
   sudo reboot

   Czy zadziałało?Po restarcie nvidia-smi wypisuje normalną tabelę, a zgłoszona wersja sterownika zgadza się z tym, co zainstalował menedżer pakietów.

   bashKopiuj

   nvidia-smi --query-gpu=driver_version --format=csv
   modinfo nvidia | grep ^version

2. 2

   Wyładuj i załaduj moduły w kolejności zależności

   Bez restartu musisz usunąć nieaktualny moduł i załadować nowy. Kolejność ma znaczenie: nvidia jest trzymany przez nvidia_uvm, nvidia_drm i nvidia_modeset, więc te wychodzą pierwsze, a moduł podstawowy na końcu. Na maszynie z pulpitem zrzuci cię to do konsoli tekstowej, bo stos graficzny jest jedną z rzeczy trzymających moduł — zaplanuj uruchomienie tego z TTY (Ctrl+Alt+F3), a nie z terminala w sesji, którą właśnie zamierzasz ubić.

   Uwaga: Na maszynie z sesją graficzną kończy to twój pulpit. Najpierw zapisz pracę. Na serwerze bez monitora jest to bezpieczne i nie przeszkadza niczemu, co nie korzysta z GPU.

   bashKopiuj

   # bash — as root, ideally from a TTY on a desktop machine
   sudo rmmod nvidia_uvm nvidia_drm nvidia_modeset nvidia
   sudo modprobe nvidia
   sudo modprobe nvidia_uvm
   
   nvidia-smi

   Czy zadziałało?nvidia-smi znów działa, a modinfo nvidia zgłasza teraz tę samą wersję co biblioteki przestrzeni użytkownika.

   bashKopiuj

   modinfo nvidia | grep ^version
   nvidia-smi --query-gpu=driver_version --format=csv,noheader

3. 3

   Znajdź to, co wciąż trzyma GPU

   Jeśli rmmod zgłasza, że moduł jest w użyciu, coś ma otwarte urządzenie. fuser -v /dev/nvidia* nazywa te procesy; lsof /dev/nvidia* jest alternatywą tam, gdzie fusera nie ma. Typowi lokatorzy to twój serwer wnioskowania, proces Pythona, który nie zakończył pracy, kontener oraz — na maszynie z pulpitem — menedżer logowania. Zatrzymaj te, które możesz, i pogódź się z tym, że na pulpicie stos graficzny do nich nie należy; o tym właśnie mówi uwaga o TTY w rozwiązaniu 2.

   bashKopiuj

   # bash
   sudo fuser -v /dev/nvidia*
   sudo lsof /dev/nvidia* 2>/dev/null | head -20
   
   # Common holders, stopped politely
   sudo systemctl stop ollama
   docker ps -q | xargs -r docker stop
   
   # Desktop only: stop the display manager (this ends your GUI session)
   sudo systemctl stop gdm3     # or lightdm, sddm

   Czy zadziałało?sudo fuser -v /dev/nvidia* nic nie wypisuje. Dopiero wtedy rmmod się powiedzie.

   bashKopiuj

   sudo fuser -v /dev/nvidia*

4. 4

   Po uśpieniu i wybudzeniu przeładuj konkretnie moduł UVM

   Istnieje udokumentowany wariant tego problemu, który nie ma nic wspólnego z aktualizacjami: po uśpieniu i wybudzeniu wykrywanie GPU potrafi zawieść z tą samą klasą objawów. Dokumentacja rozwiązywania problemów Ollamy podaje jako obejście przeładowanie samego modułu Unified Memory, co jest znacznie mniej inwazyjne niż pełne wyładowanie z rozwiązania 2 — nie rusza stosu graficznego. nvidia-modprobe -u to udokumentowana alternatywa do załadowania sterownika UVM.

   bashKopiuj

   # bash — the documented suspend/resume workaround
   sudo rmmod nvidia_uvm
   sudo modprobe nvidia_uvm
   
   # Or, equivalently
   sudo nvidia-modprobe -u
   
   sudo systemctl restart ollama

   Czy zadziałało?Moduł jest załadowany, a twój serwer wnioskowania znów widzi GPU.

   bashKopiuj

   lsmod | grep nvidia_uvm
   ollama ps

5. 5

   Zdecyduj się na jedną metodę instalacji sterownika

   Jeśli problem wraca albo jeśli modinfo i nvidia-smi zgadzają się co do wersji, a mimo to zawodzi, prawdopodobnie masz na maszynie dwie instalacje sterownika — pakiety dystrybucji oraz instalator .run od NVIDII, z których każdy jest przekonany, że to on jest właścicielem /usr/lib/x86_64-linux-gnu/libnvidia-*. Wybierz jedną. Pakiety dystrybucji to właściwy domyślny wybór dla niemal każdego, bo uczestniczą w DKMS i w aktualizacjach; instalator .run jest dla przypadków, gdy naprawdę potrzebujesz wersji, której twoja dystrybucja nie niesie.

   Uwaga: Usunięcie instalacji sterownika zostawia maszynę bez działającego sterownika GPU, dopóki nie pojawi się zamiennik. Zrób to z TTY, mając pakiety zastępcze już pobrane, a nie przez SSH na maszynie, do której nie masz fizycznego dostępu.

   bashKopiuj

   # bash — remove a previous .run install, then use distro packages
   sudo /usr/bin/nvidia-uninstall
   sudo apt install --reinstall -y nvidia-driver-580   # your recommended version
   sudo reboot

6. 6

   Poznaj kody błędów NVML, które mogą się przy tym pojawićNajczęstsze rozwiązanie

   NVML pokazuje niewielki zestaw liczb, które szybko zawężają problem: 3 (nie zainicjowano) i 999 (nieznany) zwykle towarzyszą tej niezgodności; 46 (urządzenie niedostępne) wskazuje na GPU w złym stanie, często po zadaniu, które się wywróciło; 100 (brak urządzenia) znaczy, że nie znaleziono żadnego GPU, a to już historia o DKMS albo Secure Boot, nie o tej stronie. Odczytanie kodu najpierw oszczędza ci prób stosowania rozwiązań z tej strony do problemu należącego do innej.

   bashKopiuj

   # bash — the full error text, and what is loaded right now
   nvidia-smi 2>&1 | head -5
   lsmod | grep -E "^nvidia"
   cat /proc/driver/nvidia/version 2>/dev/null

   Sprawdź, co pasuje do Twojego sprzętusprawdź, co uciągnie twoja karta, gdy sterownik znów z nią rozmawiaOtwórz kalkulator VRAM →