View a markdown version of this page

Fehler bei der Bereitstellung des Hugging Face Hub-Modells - Amazon SageMaker KI
Diagnose von Fehlern bei der Hugging Face-BereitstellungUngültiges oder abgelaufenes Hugging Face-TokenFehler bei der NetzwerkverbindungDas Modell wurde nicht gefunden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehler bei der Bereitstellung des Hugging Face Hub-Modells

Überblick: Bei der Bereitstellung von Modellen aus Hugging Face Hub unter Verwendung des huggingface Modellquelltyps kann die Bereitstellung während der Modell-Downloadphase fehlschlagen. In diesem Abschnitt werden häufige Fehlerszenarien und deren Diagnose mithilfe von Kubernetes-Ereignissen und Pod-Protokollen behandelt.

Diagnose von Fehlern bei der Hugging Face-Bereitstellung

Schritte zur Problembehandlung:

  1. Überprüfen Sie den InferenceEndpointConfig Status und die Ereignisse auf Fehlerdetails:

    kubectl describe inferenceendpointconfig <name> -n <namespace>

    Suchen Sie im Status nach Ereignissen mit Grund HuggingFaceDownloadFailed und DeploymentFailed Zustand, die bestimmte Fehlermeldungen enthalten.

  2. Wenn der Init-Container ausfällt (Pod zeigt Init:CrashLoopBackOff oderInit:Error), überprüfen Sie die Init-Container-Protokolle:

    kubectl logs <pod-name> -c hf-model-downloader -n <namespace>

  3. Überprüfen Sie den Pod-Status auf Exit-Codes für den Init-Container:

    kubectl get pod <pod-name> -n <namespace> -o jsonpath='{.status.initContainerStatuses[0].state}'

Ungültiges oder abgelaufenes Hugging Face-Token

Symptome: Der Init-Container schlägt fehl oder es gibt Fehler. 401 Unauthorized Access denied Der Pod tritt einCrashLoopBackOff.

Grundursache:

  • Das Hugging Face API-Token im Kubernetes Secret ist ungültig, abgelaufen oder gesperrt.

  • Das Token hat keinen Zugriff auf das Gated Model.

Auflösung

  1. Generieren Sie ein neues Token bei Huggingface. co/settings/Tokens.

  2. Stellen Sie bei Modellen mit geschlossenem Zugriff sicher, dass Sie die Lizenzvereinbarung des Models auf der Hugging Face Hub-Modellseite akzeptiert haben.

  3. Aktualisieren Sie das Kubernetes-Geheimnis mit dem neuen Token:

    kubectl delete secret <secret-name> -n <namespace>
kubectl create secret generic <secret-name> \
  --from-literal=token=hf_NEW_TOKEN_HERE \
  -n <namespace>

  4. Löschen Sie den fehlgeschlagenen Pod, um einen neuen Download-Versuch auszulösen:

    kubectl delete pod -l app=<iec-name> -n <namespace>

Fehler bei der Netzwerkverbindung

Symptome: Der Init-Container schlägt aufgrund eines Verbindungstimeouts oder eines Fehlers bei der DNS-Auflösung fehl. Der Pod tritt ein. CrashLoopBackOff

Hauptursache: Die Clusterknoten haben keinen ausgehenden Internetzugang zu den Hugging Face-Domains (*.huggingface.cound). *.hf.co Dies ist in privaten Subnetzen ohne NAT-Gateway üblich.

Auflösung

  1. Stellen Sie sicher, dass Ihre VPC über ein NAT-Gateway verfügt, das für die privaten Subnetze konfiguriert ist, in denen Ihre Clusterknoten ausgeführt werden.

  2. Stellen Sie sicher, dass Sicherheitsgruppen ausgehenden HTTPS-Verkehr (Port 443) zulassen.

  3. Stellen Sie sicher, dass Netzwerk-ACLs ausgehenden Datenverkehr ins Internet zulassen.

  4. Testen Sie die Konnektivität innerhalb des Clusters:

    kubectl run test-connectivity --image=curlimages/curl --rm -it --restart=Never -- \
  curl -sI https://huggingface.co
Anmerkung

Wenn kein ausgehender Internetzugang verfügbar ist, sollten Sie stattdessen Amazon S3 oder Amazon FSx als Modellquelle verwenden. Laden Sie das Modell zuerst auf Amazon S3 herunter und stellen Sie es dann mithilfe des s3 Modellquelltyps bereit.

Das Modell wurde nicht gefunden

Symptome: Der Init-Container schlägt fehl Repository Not Found oder es gibt 404 Fehler.

Grundursache:

  • Das modelId ist falsch oder das Modell existiert nicht auf Hugging Face Hub.

  • Das Modell ist privat und das Token hat keinen Zugriff.

Auflösung

  1. Vergewissern Sie sich, dass die Modell-ID existiert, indem Sie sie https://huggingface.co/<org>/<model> in Ihrem Browser aufrufen.

  2. Stellen Sie sicher, dass die modelId in Ihrem InferenceEndpointConfig das richtige org/model Format hat (z. B.mistralai/Mistral-7B-Instruct-v0.3).