View a markdown version of this page

Probleme bei der Modellbereitstellung - Amazon SageMaker KI
Die Modellbereitstellung verharrt im Status „Ausstehend“Fehler bei der Modellbereitstellung und ProblembehandlungÜberprüfung des Fortschritts der Modellbereitstellung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Probleme bei der Modellbereitstellung

Überblick: In diesem Abschnitt werden häufig auftretende Probleme behandelt, die bei der Modellbereitstellung auftreten. Dazu gehören Ausstehende Status, fehlgeschlagene Bereitstellungen und die Überwachung des Bereitstellungsfortschritts.

Die Modellbereitstellung verharrt im Status „Ausstehend“

Bei der Bereitstellung eines Modells bleibt die Bereitstellung über einen längeren Zeitraum im Status „Ausstehend“. Dies bedeutet, dass der Inferenzoperator die Modellbereitstellung in Ihrem HyperPod Cluster nicht initiieren kann.

Betroffene Komponenten:

Während der normalen Bereitstellung sollte der Inferenzoperator:

  • Model-Pod bereitstellen

  • Einen Load Balancer erstellen

  • SageMaker KI-Endpunkt erstellen

Schritte zur Fehlerbehebung:

  1. Überprüfen Sie den Pod-Status des Inferenz-Operators:

    kubectl get pods -n hyperpod-inference-system

    Beispiel für eine erwartete Ausgabe:

    NAME                                                           READY   STATUS    RESTARTS   AGE
hyperpod-inference-operator-controller-manager-65c49967f5-894fg   1/1     Running   0         6d13h

  2. Überprüfen Sie die Inferenzoperatorprotokolle und überprüfen Sie die Operatorprotokolle auf Fehlermeldungen:

    kubectl logs hyperpod-inference-operator-controller-manager-5b5cdd7757-txq8f -n hyperpod-inference-operator-system

Worauf Sie achten sollten:

  • Fehlermeldungen in den Bedienerprotokollen

  • Status des Operator-Pods

  • Alle Warnungen oder Ausfälle im Zusammenhang mit der Bereitstellung

Anmerkung

Bei einer fehlerfreien Bereitstellung sollte der Status „Ausstehend“ innerhalb einer angemessenen Zeit überschritten werden. Wenn die Probleme weiterhin bestehen, überprüfen Sie die Inferenzoperatorprotokolle auf spezifische Fehlermeldungen, um die Ursache zu ermitteln.

Fehler bei der Modellbereitstellung und Problembehandlung

Wenn eine Modellbereitstellung in den Status „Fehlgeschlagen“ übergeht, kann der Fehler in einer von drei Komponenten auftreten:

  • Bereitstellung des Modell-Pods

  • Erstellung eines Load Balancers

  • SageMaker Erstellung von KI-Endpunkten

Schritte zur Fehlerbehebung:

  1. Überprüfen Sie den Status des Inferenzoperators:

    kubectl get pods -n hyperpod-inference-system

    Erwartete Ausgabe:

    NAME                                                           READY   STATUS    RESTARTS   AGE
hyperpod-inference-operator-controller-manager-65c49967f5-894fg   1/1     Running   0         6d13h

  2. Überprüfen Sie die Operatorprotokolle:

    kubectl logs hyperpod-inference-operator-controller-manager-5b5cdd7757-txq8f -n hyperpod-inference-operator-system

Worauf Sie achten sollten:

In den Bedienerprotokollen wird angegeben, welche Komponente ausgefallen ist:

  • Fehler bei der Pod-Bereitstellung modellieren

  • Probleme bei der Erstellung des Load Balancers

  • SageMaker Fehler am KI-Endpunkt

Überprüfung des Fortschritts der Modellbereitstellung

Um den Fortschritt Ihrer Modellbereitstellung zu überwachen und potenzielle Probleme zu identifizieren, können Sie kubectl-Befehle verwenden, um den Status verschiedener Komponenten zu überprüfen. Auf diese Weise können Sie feststellen, ob die Bereitstellung normal voranschreitet oder ob bei der Erstellung des Modell-Pods, beim Einrichten des Load Balancers oder bei der Konfiguration der SageMaker KI-Endpunkte Probleme aufgetreten sind.

Methode 1: Überprüfen Sie den Modellstatus JumpStart 

kubectl describe jumpstartmodel.inference.sagemaker.aws.amazon.com/<model-name> -n <namespace>

Wichtige zu überwachende Statusindikatoren:

  1. Bereitstellungsstatus

    • Achten Sie aufStatus.State: Sollte angezeigt werden DeploymentComplete

    • Überprüfe Status.Deployment Status.Available Replicas

    • Überwachen Sie Status.Conditions den Fortschritt der Bereitstellung

  2. SageMaker Status des KI-Endpunkts

    • CheckStatus.Endpoints.Sagemaker.State: Sollte angezeigt werden CreationCompleted

    • Verifizieren Status.Endpoints.Sagemaker.Endpoint Arn

  3. Status des TLS-Zertifikats

    • Status.Tls CertificateDetails anzeigen

    • Prüfen Sie den Ablauf des Zertifikats in Last Cert Expiry Time

Methode 2: Überprüfen Sie die Konfiguration des Inferenzendpunkts 

kubectl describe inferenceendpointconfig.inference.sagemaker.aws.amazon.com/<deployment_name> -n <namespace>

Allgemeine Statuszustände:

  • DeploymentInProgress: Erste Bereitstellungsphase

  • DeploymentComplete: Erfolgreiche Bereitstellung

  • Failed: Die Bereitstellung ist fehlgeschlagen

Anmerkung

Überwachen Sie den Abschnitt Ereignisse auf Warnungen oder Fehler. Prüfen Sie, ob die Anzahl der Replikate mit der erwarteten Konfiguration übereinstimmt. Stellen Sie sicher, dass alle Bedingungen Status: True für eine fehlerfreie Bereitstellung vorliegen.