Résoudre les erreurs lors de la création d'une tâche d'évaluation de modèle dans Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Si vous rencontrez une erreur lors de la création d'une tâche d'évaluation de modèle, utilisez la liste suivante pour résoudre les problèmes liés à votre évaluation. Si vous avez besoin d'une assistance supplémentaire, Supportcontactez AWS nos forums de développeurs pour Amazon SageMaker AI.

Erreur lors du chargement de vos données depuis un compartiment Amazon S3

Lorsque vous créez une évaluation du modèle de base, vous devez définir les autorisations appropriées pour le compartiment S3 dans lequel vous souhaitez stocker les entrées et sorties de votre modèle. Si les autorisations de partage de ressources entre origines (CORS) ne sont pas définies correctement, SageMaker AI génère l'erreur suivante :

Erreur : Impossible de placer l'objet dans s3 : erreur lors du téléchargement de l'objet vers S3 Erreur : échec de l'insertion de l'objet dans S3 : NetworkError lors de la tentative de récupération de la ressource.

Pour définir les autorisations de bucket appropriées, suivez les instructions de la section Configurer votre environnement dansCréation d'une tâche d'évaluation automatique de modèles dans Studio.

La tâche de traitement n'a pas pu être terminée

Les raisons les plus courantes pour lesquelles votre tâche de traitement n'a pas pu être terminée sont les suivantes :

Consultez les sections suivantes pour vous aider à atténuer chaque problème.

Quota insuffisant

Lorsque vous effectuez une évaluation du modèle de base pour un JumpStart modèle non déployé, SageMaker Clarify déploie votre modèle linguistique étendu (LLM) sur un point de terminaison SageMaker AI de votre compte. Si le quota de votre compte n'est pas suffisant pour exécuter le JumpStart modèle sélectionné, la tâche échoue avec unClientError. Pour augmenter votre quota, procédez comme suit :

Pour plus d'informations sur la demande d'augmentation de votre quota, consultez la section Demande d'augmentation de quota.

Mémoire insuffisante

Si vous lancez une évaluation du modèle de base sur une EC2 instance Amazon qui ne dispose pas de suffisamment de mémoire pour exécuter un algorithme d'évaluation, la tâche échoue avec l'erreur suivante :

The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.

Pour augmenter la mémoire disponible pour votre tâche d'évaluation, remplacez votre instance par une instance dotée de plus de mémoire. Si vous utilisez l'interface utilisateur, vous pouvez choisir un type d'instance sous Configuration du processeur à l'étape 2. Si vous exécutez votre tâche dans la console SageMaker AI, lancez un nouvel espace à l'aide d'une instance dotée d'une capacité de mémoire accrue.

Pour obtenir la liste des EC2 instances Amazon, consultez la section Types d'instances.

Pour plus d'informations sur les instances dotées d'une plus grande capacité de mémoire, consultez la section Instances optimisées pour la mémoire.

N'a pas réussi la vérification du ping

Dans certains cas, votre tâche d'évaluation du modèle de base échouera car elle n'a pas passé avec succès une vérification ping lors du déploiement de votre point de terminaison par l' SageMaker IA. S'il ne réussit pas un test de ping, l'erreur suivante apparaît :

ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type

Si votre tâche génère cette erreur, attendez quelques minutes avant de la réexécuter. Si l'erreur persiste, contactez le AWS Support ou les forums de AWS développeurs pour Amazon SageMaker AI.

Vous ne trouvez pas d'évaluations de modèles de base dans la console d' SageMaker IA

Pour utiliser les évaluations du modèle SageMaker Clarify Foundation, vous devez passer à la nouvelle expérience Studio. Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La fonctionnalité d'évaluation des bases ne peut être utilisée que dans l'expérience mise à jour. Pour plus d'informations sur la mise à jour de Studio, consultezMigration depuis Amazon SageMaker Studio Classic.

Votre modèle ne supporte pas les stéréotypes rapides

Seuls certains JumpStart modèles prennent en charge les stéréotypes rapides. Si vous sélectionnez un JumpStart modèle qui n'est pas pris en charge, le message d'erreur suivant apparaît :

{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}

Si cette erreur s'affiche, vous ne pouvez pas utiliser le modèle que vous avez sélectionné dans le cadre d'une évaluation de base. SageMaker Clarify travaille actuellement à la mise à jour de tous les JumpStart modèles pour les tâches de stéréotypage rapides afin qu'ils puissent être utilisés dans une évaluation des modèles de base.

Erreurs de validation des ensembles de données (humaines)

L'ensemble de données d'invite personnalisé d'une tâche d'évaluation de modèle qui utilise des travailleurs humains doit être formaté au format des lignes JSON à l'aide de l'.jsonlextension.

Lorsque vous démarrez une tâche, chaque objet JSON du jeu de données d'invite est validé de manière interdépendante. Si l'un des objets JSON n'est pas valide, l'erreur suivante s'affiche.

Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.

Pour qu'un ensemble de données d'invite personnalisé passe toutes les validations, les conditions suivantes doivent être vraies pour tous les objets JSON du fichier de lignes JSON.