View a markdown version of this page

Errori di implementazione del modello Hugging Face Hub - Amazon SageMaker AI
Diagnosi degli errori di implementazione di Hugging FaceToken Hugging Face non valido o scadutoErrori di connettività di reteModello non trovato

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Errori di implementazione del modello Hugging Face Hub

Panoramica: quando si distribuiscono modelli da Hugging Face Hub utilizzando il tipo di origine del huggingface modello, l'implementazione potrebbe non riuscire durante la fase di download del modello. Questa sezione descrive gli scenari di errore più comuni e come diagnosticarli utilizzando gli eventi Kubernetes e i log dei pod.

Diagnosi degli errori di implementazione di Hugging Face

Procedure per la risoluzione dei problemi:

  1. Controlla lo InferenceEndpointConfig stato e gli eventi per i dettagli dell'errore:

    kubectl describe inferenceendpointconfig <name> -n <namespace>

    Cerca gli eventi con il motivo HuggingFaceDownloadFailed e la DeploymentFailed condizione nello stato, che contengono messaggi di errore specifici.

  2. Se il contenitore init non funziona (il pod mostra Init:CrashLoopBackOff oInit:Error), controlla i log del contenitore init:

    kubectl logs <pod-name> -c hf-model-downloader -n <namespace>

  3. Controlla lo stato del pod per i codici di uscita del contenitore init:

    kubectl get pod <pod-name> -n <namespace> -o jsonpath='{.status.initContainerStatuses[0].state}'

Token Hugging Face non valido o scaduto

Sintomi: il contenitore Init non funziona o presenta errori. 401 Unauthorized Access denied Il pod entraCrashLoopBackOff.

Causa principale:

  • Il token dell'API Hugging Face in Kubernetes Secret non è valido, è scaduto o è stato revocato.

  • Il token non ha accesso al modello gated.

Risoluzione:

  1. Genera un nuovo token su huggingface. co/settings/tokens.

  2. Per i modelli gated, assicurati di aver accettato il contratto di licenza del modello nella pagina del modello di Hugging Face Hub.

  3. Aggiorna Kubernetes Secret con il nuovo token:

    kubectl delete secret <secret-name> -n <namespace>
kubectl create secret generic <secret-name> \
  --from-literal=token=hf_NEW_TOKEN_HERE \
  -n <namespace>

  4. Elimina il pod in errore per attivare un nuovo tentativo di download:

    kubectl delete pod -l app=<iec-name> -n <namespace>

Errori di connettività di rete

Sintomi: il contenitore di avvio non funziona con timeout di connessione o errori di risoluzione DNS. Il pod entra. CrashLoopBackOff

Causa principale: i nodi del cluster non hanno accesso Internet in uscita ai domini (e) Hugging Face. *.huggingface.co *.hf.co Questo è comune nelle sottoreti private senza un gateway NAT.

Risoluzione:

  1. Verifica che il tuo VPC abbia un gateway NAT configurato per le sottoreti private su cui vengono eseguiti i nodi del cluster.

  2. Verifica che i gruppi di sicurezza consentano il traffico HTTPS in uscita (porta 443).

  3. Verifica che gli ACL di rete consentano il traffico in uscita verso Internet.

  4. Verifica la connettività dall'interno del cluster:

    kubectl run test-connectivity --image=curlimages/curl --rm -it --restart=Never -- \
  curl -sI https://huggingface.co
Nota

Se l'accesso a Internet in uscita non è disponibile, valuta invece l'utilizzo di Amazon S3 o Amazon FSx come fonte del modello. Scarica prima il modello su Amazon S3, quindi implementalo utilizzando il tipo di origine del modello. s3

Modello non trovato

Sintomi: il contenitore Init non funziona con 404 errori Repository Not Found o errori.

Causa principale:

  • Non modelId è corretto o il modello non esiste su Hugging Face Hub.

  • Il modello è privato e il token non ha accesso.

Risoluzione:

  1. Verifica che l'ID del modello esista accedendo https://huggingface.co/<org>/<model> al tuo browser.

  2. Assicurati che il org/model formato modelId in your InferenceEndpointConfig sia corretto (ad esempio,mistralai/Mistral-7B-Instruct-v0.3).