Risolvi gli errori durante la creazione di un processo di valutazione del modello in Amazon SageMaker - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risolvi gli errori durante la creazione di un processo di valutazione del modello in Amazon SageMaker

Importante

Per utilizzare SageMaker Clarify Foundation Model Evaluations (FMEval), è necessario eseguire l'aggiornamento alla nuova esperienza Studio.

A partire dal 30 novembre 2023, la precedente esperienza Amazon SageMaker Studio è ora denominata Amazon SageMaker Studio Classic. FMEvalnon è disponibile in Amazon SageMaker Studio Classic.

Per informazioni su come eseguire l'aggiornamento alla nuova esperienza Studio, consultaMigrazione da Amazon SageMaker Studio Classic. Per informazioni sull'utilizzo dell'applicazione Studio Classic, consultaAmazon SageMaker Studio Classic.

Se si verifica un errore durante la creazione di un processo di valutazione del modello, utilizzate l'elenco seguente per risolvere i problemi di valutazione. Se hai bisogno di ulteriore assistenza, contatta il AWS Supportnostro AWS Developer Forum per Amazon SageMaker.

Errore durante il caricamento dei dati da un bucket Amazon S3

Quando crei una valutazione del modello di base, devi impostare le autorizzazioni corrette per il bucket S3 in cui desideri archiviare l'input e l'output del modello. Se le autorizzazioni di condivisione delle risorse tra origini diverse (CORS) non sono impostate correttamente, SageMaker genera il seguente errore:

Errore: impossibile inserire l'oggetto in s3: errore durante il caricamento dell'oggetto su S3Errore: impossibile inserire l'oggetto in S3: durante il tentativo di recuperare la risorsa. NetworkError

Per impostare le autorizzazioni corrette per il bucket, segui le istruzioni riportate nella sezione Configura il tuo ambiente in. Creare un processo di valutazione automatica del modello in Studio

Il processo di elaborazione non è stato completato

I motivi più comuni per cui il processo di elaborazione non è stato completato includono i seguenti:

Consulta le seguenti sezioni per aiutarti a mitigare ogni problema.

Quota insufficiente

Quando eseguite una valutazione del modello di base per un modello non distribuito, SageMaker Clarify distribuisce il vostro JumpStart modello linguistico di grandi dimensioni (LLM) su un SageMaker endpoint del vostro account. Se il vostro account non dispone di una quota sufficiente per eseguire il JumpStart modello selezionato, il processo ha esito negativo e restituisce un. ClientError Per aumentare la quota, procedi nel seguente modo:

Richiedi un aumento delle AWS Service Quotas
  1. Recupera il nome dell'istanza, la quota corrente e la quota necessaria dal messaggio di errore visualizzato sullo schermo. Ad esempio, nel seguente errore:

    • Il nome dell'istanza èml.g5.12xlarge.

    • La quota attuale, a partire dal numero seguente, current utilization è 0 instances

    • La quota aggiuntiva richiesta tra quelle riportate di seguito request delta è1 instances.

    Segue l'errore di esempio:

    ClientError: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.g5.12xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please use AWS Service Quotas to request an increase for this quota. If AWS Service Quotas is not available, contact AWS support to request an increase for this quota

  2. Accedi AWS Management Console e apri la console Service Quotas.

  3. Nel riquadro di navigazione, in Gestisci quote, inserisci. Amazon SageMaker

  4. Scegli Visualizza quote.

  5. Nella barra di ricerca sotto Quote di servizio, inserisci il nome dell'istanza del passaggio 1. Ad esempio, utilizzando le informazioni contenute nel messaggio di errore del passaggio 1, immissioneml.g5.12xlarge.

  6. Scegli il nome della quota che appare accanto al nome dell'istanza e termina con «per l'utilizzo dell'endpoint». Ad esempio, utilizzando le informazioni contenute nel messaggio di errore del Passaggio 1, scegli ml.g5.12xlarge per l'utilizzo dell'endpoint.

  7. Scegli Richiedi aumento a livello di account.

  8. In Aumenta il valore della quota, inserisci la quota richiesta necessaria tra le informazioni fornite nel messaggio di errore del passaggio 1. Inserisci il totale di current utilization erequest delta. Nell'errore di esempio precedente, il current utilization è 0 Instances e il request delta è1 Instances. In questo esempio, richiedi una quota di 1 per fornire la quota richiesta.

  9. Scegli Richiedi.

  10. Scegli la cronologia delle richieste di quota dal pannello di navigazione.

  11. Quando lo stato passa da In sospeso a Approvato, esegui nuovamente il processo. Potrebbe essere necessario aggiornare il browser per visualizzare la modifica.

Per ulteriori informazioni sulla richiesta di un aumento della quota, consulta Richiesta di aumento della quota.

Memoria insufficiente

Se avvii una valutazione del modello di base su un'EC2istanza Amazon che non dispone di memoria sufficiente per eseguire un algoritmo di valutazione, il processo fallisce con il seguente errore:

The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.

Per aumentare la memoria disponibile per il processo di valutazione, modifica l'istanza con un'istanza con più memoria. Se si utilizza l'interfaccia utente, è possibile scegliere un tipo di istanza in Configurazione del processore nel passaggio 2. Se esegui il job all'interno della SageMaker console, avvia un nuovo spazio utilizzando un'istanza con maggiore capacità di memoria.

Per un elenco di EC2 istanze Amazon, consulta Tipi di istanze.

Per ulteriori informazioni sulle istanze con una maggiore capacità di memoria, consulta Istanze con memoria ottimizzata.

Non ha superato il controllo ping

In alcuni casi, il processo di valutazione del modello di base avrà esito negativo perché non ha superato il controllo del ping durante SageMaker la distribuzione dell'endpoint. Se non supera un test di ping, viene visualizzato il seguente errore:

ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type

Se il processo genera questo errore, attendi qualche minuto ed esegui nuovamente il processo. Se l'errore persiste, contatta AWS Support o AWS Developer Forums for Amazon SageMaker.

Non riesci a trovare le valutazioni dei modelli di base nella console SageMaker

Per utilizzare SageMaker Clarify Foundation Model Evaluations, è necessario eseguire l'aggiornamento alla nuova esperienza Studio. A partire dal 30 novembre 2023, la precedente esperienza Amazon SageMaker Studio è ora denominata Amazon SageMaker Studio Classic. La funzionalità di valutazione di base può essere utilizzata solo nell'esperienza aggiornata. Per informazioni su come aggiornare Studio, consultaMigrazione da Amazon SageMaker Studio Classic.

Il modello in uso non supporta gli stereotipi immediati

Solo alcuni JumpStart modelli supportano gli stereotipi rapidi. Se si seleziona un JumpStart modello non supportato, viene visualizzato il seguente errore:

{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}

Se si riceve questo errore, non è possibile utilizzare il modello selezionato in una valutazione di base. SageMaker Clarify sta attualmente lavorando per aggiornare tutti i JumpStart modelli per consentire rapide attività di stereotipizzazione in modo che possano essere utilizzati nella valutazione di un modello di base.

Errori di convalida del set di dati (umani)

Il set di dati di prompt personalizzato in un processo di valutazione del modello che utilizza lavoratori umani deve essere formattato utilizzando il formato delle JSON righe utilizzando l'estensione. .jsonl

Quando si avvia un processo, ogni JSON oggetto nel set di dati del prompt viene convalidato in modo interdipendente. Se uno degli JSON oggetti non è valido, viene visualizzato il seguente errore.

Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.

Affinché un set di dati prompt personalizzato superi tutte le convalide, è necessario che quanto segue sia vero per tutti JSON gli oggetti nel JSON file di righe.

  • Ogni riga del file del set di dati del prompt deve essere un oggetto valido. JSON

  • I caratteri speciali come le virgolette (") devono essere sostituiti correttamente. Ad esempio, se la richiesta fosse la seguente, "Claire said to the crowd, "Bananas are the best!"" le virgolette dovrebbero essere evitate usando un,. \ "Claire said to the crowd, \"Bananas are the best!\""

  • Un JSON oggetto valido deve contenere almeno la coppia prompt chiave/valore.

  • Un file di set di dati prompt non può contenere più di 1.000 JSON oggetti in un singolo file.

  • Se si specifica la responses chiave in JSON un oggetto, questa deve essere presente in tutti gli JSON oggetti.

  • Il numero massimo di oggetti nella responses chiave è 1. Se desideri confrontare risposte da più modelli, ognuno richiede un BYOI set di dati separato.

  • Se specificate la responses chiave in JSON un oggetto, deve contenere anche text le chiavi modelIdentifier e in tutti responses gli oggetti.