Twój kontener Dockera nie widzi GPU

nvidia-smi działa na hoście, a w kontenerze zawodzi

Autor Jakub Rusinowski

Błąd

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

docker: Error response from daemon: unknown or invalid runtime name: nvidia.

bash: nvidia-smi: command not found   (inside the container)

1. 1

   Zainstaluj NVIDIA Container Toolkit

   Dodaj repozytorium NVIDII z podpisanym pękiem kluczy i zainstaluj pakiet. Zanim to uruchomisz, porównaj aktualny adres repozytorium i ścieżkę pęku kluczy z przewodnikiem instalacji NVIDII — ta ścieżka zmieniała się nie raz, a nieaktualna, skopiowana linia to częsty powód, dla którego instalacja pozornie się udaje i nic nie instaluje. Zweryfikowane z przewodnikiem instalacji NVIDIA Container Toolkit, 1 września 2026.

   bashKopiuj

   # bash — Ubuntu / Debian
   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
     | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
     | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
     | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

   Czy zadziałało?Pomocniczy plik binarny istnieje i zgłasza wersję. Jeśli nvidia-ctk nie zostaje znaleziony, pakiet się nie zainstalował, a linią do ponownego sprawdzenia jest wpis repozytorium.

   bashKopiuj

   nvidia-ctk --version
   dpkg -l | grep nvidia-container-toolkit

2. 2

   Zarejestruj środowisko uruchomieniowe w Dockerze i zrestartuj demona

   Zainstalowanie toolkitu nie każe Dockerowi z niego korzystać — od tego jest drugie polecenie, a jego pominięcie daje błąd unknown or invalid runtime name: nvidia. nvidia-ctk runtime configure edytuje za ciebie /etc/docker/daemon.json; potem trzeba jeszcze zrestartować demona, żeby ponownie odczytał ten plik.

   bashKopiuj

   # bash
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker
   
   # The canonical smoke test
   docker run --rm --gpus all ubuntu nvidia-smi

   Czy zadziałało?Kontener wypisuje tę samą tabelę GPU, którą dostajesz na hoście. Przejście tego jednego polecenia oznacza, że cały łańcuch — sterownik, toolkit, środowisko uruchomieniowe, demon — działa.

   bashKopiuj

   docker run --rm --gpus all ubuntu nvidia-smi
   docker info | grep -i runtime

3. 3

   Przetestuj na obrazie, który faktycznie zawiera przestrzeń użytkownika CUDA

   Jeśli --gpus all przechodzi, a zadanie i tak nie znajduje GPU, obraz może zwyczajnie nie mieć czym z nim rozmawiać. Zwykły obraz ubuntu działa dla nvidia-smi, bo toolkit wstrzykuje plik binarny z hosta, ale framework potrzebuje bibliotek CUDA w samym obrazie. Przetestuj na oficjalnym obrazie bazowym CUDA, żeby oddzielić „GPU nie jest przekazywane” od „mojemu obrazowi brakuje CUDA”. Dla Ollamy publikowany obraz zawiera już wszystko, czego potrzeba.

   bashKopiuj

   # bash — is the GPU visible to a real CUDA image?
   docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
   
   # The Ollama container form
   docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 \
     --name ollama ollama/ollama

   Czy zadziałało?Kontener Ollamy przy załadowanym modelu zgłasza umieszczenie na GPU, a nie na CPU.

   bashKopiuj

   docker exec ollama ollama run gemma3:1b "hi"
   docker exec ollama ollama ps

4. 4

   Skonfiguruj osobno Dockera w trybie rootless

   Docker w trybie rootless trzyma własną konfigurację demona w twoim katalogu domowym, więc runtime configure wycelowane w demona systemowego nic dla niego nie robi. nvidia-ctk runtime configure --runtime=docker --config=$HOME/.config/docker/daemon.json trafia we właściwy plik, a tryb rootless wymaga jeszcze włączenia no-cgroups w konfiguracji container-toolkit. To zwykłe wyjaśnienie sytuacji, w której dostęp do GPU działa spod sudo docker, a na twoim koncie nie.

   bashKopiuj

   # bash — rootless Docker
   nvidia-ctk runtime configure --runtime=docker \
     --config=$HOME/.config/docker/daemon.json
   systemctl --user restart docker
   
   # Rootless also needs no-cgroups in the toolkit config:
   sudo nvidia-ctk config --set nvidia-container-cli.no-cgroups --in-place

   Czy zadziałało?Test dymny przechodzi na twoim własnym koncie, bez sudo.

   bashKopiuj

   docker run --rm --gpus all ubuntu nvidia-smi

5. 5

   Kontenery AMD: przekaż grupy urządzeń i sprawdź SELinuksa

   AMD nie korzysta z toolkitu NVIDII. Kontenery potrzebują jawnie przekazanych węzłów urządzeń wraz z numerycznymi identyfikatorami grup, które są ich właścicielami — numerycznymi, bo nazwy grup w kontenerze nie będą pasować do tych z hosta. Odczytasz je z ls -lnd. Na systemach z SELinuksem stoi jeszcze druga bramka: dokumentacja Ollamy zauważa, że SELinux potrafi blokować kontenerom dostęp do urządzeń GPU AMD, a rozwiązaniem jest jeden przełącznik logiczny.

   Uwaga: setsebool -P container_use_devices=1 trwale pozwala każdemu kontenerowi na tym hoście sięgać do węzłów urządzeń, nie tylko temu, który debugujesz. To udokumentowane rozwiązanie i zarazem zmiana zasad dla całego hosta — podejmij ją świadomie.

   bashKopiuj

   # bash — find the numeric group IDs for the AMD device nodes
   ls -lnd /dev/kfd /dev/dri /dev/dri/*
   
   docker run --rm --device /dev/kfd --device /dev/dri \
     --group-add 44 --group-add 993 \
     rocm/dev-ubuntu-22.04 rocminfo
   
   # SELinux hosts (Fedora, RHEL) only:
   sudo setsebool -P container_use_devices=1

   Czy zadziałało?rocminfo w kontenerze wypisuje twoje GPU jako agenta. Jeśli wypisuje wyłącznie agenta CPU, urządzenia nadal do niego nie docierają.

   bashKopiuj

   docker run --rm --device /dev/kfd --device /dev/dri rocm/dev-ubuntu-22.04 rocminfo | grep -i "Marketing Name"

6. 6

   Odpowiedniki w Podmanie

   Podman używa CDI, a nie własnego środowiska uruchomieniowego. Wygeneruj raz specyfikację CDI dla kart poleceniem nvidia-ctk cdi generate, a potem przy każdym uruchomieniu odwołuj się do urządzenia po nazwie. Po aktualizacji sterownika wygeneruj specyfikację ponownie — nieaktualny plik CDI wskazuje ścieżki bibliotek, które już nie istnieją, co daje kontener startujący poprawnie i wywracający się przy pierwszym wywołaniu CUDA.

   bashKopiuj

   # bash — Podman with NVIDIA
   sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
   nvidia-ctk cdi list
   podman run --rm --device nvidia.com/gpu=all ubuntu nvidia-smi
   
   # Podman with AMD
   podman run --rm --device /dev/kfd --device /dev/dri \
     rocm/dev-ubuntu-22.04 rocminfo

   Czy zadziałało?Urządzenie CDI pojawia się w nvidia-ctk cdi list, a kontener wypisuje tabelę GPU.

   bashKopiuj

   nvidia-ctk cdi list

7. 7

   Dopasuj model do GPU, które przekazujeszNajczęstsze rozwiązanie

   Gdy GPU dotrze już do kontenera, wraca zwykła arytmetyka — a kontenery ułatwiają pomylenie się w niej: kusi, żeby uruchomić kilka usług korzystających z karty naraz, a każdy załadowany model trzyma własny VRAM. Kontener, który w testach miał całą kartę dla siebie, w Compose może dzielić ją z dwoma innymi. Sprawdź, co naprawdę się mieści, zanim rozbudujesz stos.

   bashKopiuj

   # bash — what is holding VRAM across every container right now?
   nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv

   Sprawdź, co pasuje do Twojego sprzętusprawdź, co się zmieści, zanim uruchomisz kilka kontenerów korzystających z GPU narazOtwórz kalkulator VRAM →