Bewährte Methoden zur Minimierung von Unterbrechungen bei GPU-Treiber-Upgrades

Führen Sie den Befehl nvidia-smi (NVIDIA System Management Interface) im Docker-Container aus. Wenn das NVIDIA System Management Interface einen GPU-Erkennungsfehler oder einen NVIDIA-Initialisierungsfehler erkennt, wird die folgende Fehlermeldung zurückgegeben:

Failed to initialize NVML: Driver/library version mismatch

Verwenden Sie je nach Anwendungsfall diese bewährten Methoden, um das Fehlschlagen oder den Fehler zu beheben:

Weitere Informationen finden Sie auf der Seite NVIDIA System Management Interface auf der Website von NVIDIA.

Wenn Ihre GPU-Instance NVIDIA-Treiberversionen verwendet, die nicht mit der CUDA-Version im Docker-Container kompatibel sind, schlägt die Bereitstellung eines Endpunktes mit der folgenden Fehlermeldung fehl:

 Failure reason CannotStartContainerError. Please ensure the model container for variant <variant_name> starts correctly when invoked with 'docker run <image> serve'

Verwenden Sie je nach Anwendungsfall diese bewährten Methoden, um das Fehlschlagen oder den Fehler zu beheben:

Es ist keine Aktion erforderlich. NVIDIA bietet Rückwärts-Kompatibilität.

Wenn es sich um einen geringfügigen Versionsunterschied handelt, sind keine Maßnahmen erforderlich. NVIDIA bietet bei kleineren Versionsunterschieden Vorwärtskompatibilität.

Wenn es sich um einen größeren Versionsunterschied handelt, muss das CUDA-Kompatibilitätspaket installiert werden. Weitere Informationen finden Sie im CUDA-Kompatibilitätspaket in der NVIDIA-Dokumentation.

Vergewissern Sie sich, dass das Image keine NVIDIA-Treiberpakete enthält, die zu Konflikten mit der NVIDIA-Treiberversion auf dem Host führen könnten.

Informationen dazu, ob die Nvidia-Treiberversion für die jeweilige Plattform die im Modellcontainer installierte Version des CUDA Compatibility Package unterstützt, finden Sie in der CUDA-Dokumentation. Wenn die Nvidia-Treiberversion für die jeweilige Plattform die Version des CUDA-Kompatibilitätspaketes nicht unterstützt, können Sie das CUDA-Kompatibilitätspaket deaktivieren oder aus dem Modellcontainer-Image entfernen. Wenn die Version der CUDA-Kompatibilitätsbibliotheken von der neuesten Nvidia-Treiberversion unterstützt wird, empfehlen wir Ihnen, das CUDA-Kompatibilitätspaket auf Basis der erkannten Nvidia-Treiberversion für die zukünftige Kompatibilität zu aktivieren, indem Sie den folgenden Codeausschnitt zum Start-up-Shell-Skript des Containers (im ENTRYPOINT Skript) hinzufügen.

Das Skript zeigt, wie Sie die Verwendung des CUDA-Kompatibilitätspaketes auf Basis der erkannten Nvidia-Treiberversion auf dem bereitgestellten Host für Ihren Modellcontainer dynamisch umschalten. Wenn eine neuere Nvidia-Treiberversion SageMaker veröffentlicht wird, kann das installierte CUDA-Kompatibilitätspaket automatisch ausgeschaltet werden, wenn die CUDA-Anwendung auf dem neuen Treiber nativ unterstützt wird.

#!/bin/bash

verlt() {
    [ "$1" = "$2" ] && return 1 || [ "$1" = "$(echo -e "$1\n$2" | sort -V | head -n1)" ]
}

if [ -f /usr/local/cuda/compat/libcuda.so.1 ]; then
    CUDA_COMPAT_MAX_DRIVER_VERSION=$(readlink /usr/local/cuda/compat/libcuda.so.1 | cut -d'.' -f 3-)
    echo "CUDA compat package should be installed for NVIDIA driver smaller than ${CUDA_COMPAT_MAX_DRIVER_VERSION}"
    NVIDIA_DRIVER_VERSION=$(sed -n 's/^NVRM.*Kernel Module *\([0-9.]*\).*$/\1/p' /proc/driver/nvidia/version 2>/dev/null || true)
    echo "Current installed NVIDIA driver version is ${NVIDIA_DRIVER_VERSION}"
    if verlt $NVIDIA_DRIVER_VERSION $CUDA_COMPAT_MAX_DRIVER_VERSION; then
        echo "Adding CUDA compat to LD_LIBRARY_PATH"
        export LD_LIBRARY_PATH=/usr/local/cuda/compat:$LD_LIBRARY_PATH
        echo $LD_LIBRARY_PATH
    else
        echo "Skipping CUDA compat setup as newer NVIDIA driver is installed"
    fi
else
    echo "Skipping CUDA compat setup as package not found"
fi