Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création d'une tâche d'évaluation automatique de modèles
Les évaluations automatiques des modèles vous permettent d'évaluer les réponses d'un seul modèle à l'aide des mesures recommandées. Vous pouvez également utiliser les jeux de données de requêtes intégrés ou utiliser votre propre jeu de données de requêtes personnalisé. Vous êtes limité à 10 tâches d’évaluation de modèle automatique En cours dans votre compte par Région AWS.
Lorsque vous configurez une tâche d’évaluation de modèle automatique, les métriques disponibles et les jeux de données intégrés les mieux adaptés au type de tâche sélectionné sont automatiquement ajoutés à la tâche. Vous pouvez ajouter ou supprimer n'importe lequel des indicateurs ou ensembles de données présélectionnés. Vous pouvez également fournir votre propre jeu de données d'invite personnalisé.
Prérequis
Pour créer votre première tâche d'évaluation de modèle à l'aide de la console Amazon Bedrock, vous devez effectuer les opérations suivantes.
Note
Lorsque vous créez des tâches d'évaluation de modèles à l'aide de la console Amazon Bedrock, vous devez configurer les CORS autorisations appropriées sur le compartiment Amazon S3 que vous spécifiez.
-
Vous devez avoir accès au modèle dans Amazon Bedrock.
-
Vous devez disposer d’une fonction du service Amazon Bedrock. Si aucun rôle de service n'est déjà créé, vous pouvez le créer dans la console Amazon Bedrock lors de la configuration de votre tâche d'évaluation de modèles. Si vous souhaitez créer une politique personnalisée, la politique attachée doit accorder l'accès aux ressources suivantes : tous les compartiments S3 utilisés dans le travail d'évaluation ARN du modèle et le modèle spécifié dans le travail. Amazon Bedrock doit également être défini en tant que principal du service dans la politique de confiance de la fonction du service. Pour en savoir plus, consultez Autorisations nécessaires.
-
L’utilisateur, le groupe ou le rôle qui accède à la console Amazon Bedrock doit disposer des autorisations nécessaires pour accéder aux compartiments Amazon S3 requis. Pour en savoir plus, consultez Autorisations nécessaires
-
Les CORS autorisations requises doivent être ajoutées au compartiment Amazon S3 en sortie et à tout compartiment de jeu de données d'invite personnalisé. Pour en savoir plus sur les CORS autorisations requises, consultezAutorisation de partage de ressources entre origines (CORS) requise sur les compartiments S3.
Tutoriel : Création d'une tâche d'évaluation automatique de modèles
La procédure suivante est un didacticiel. Le didacticiel couvre la création d'une tâche d'évaluation automatique de modèle utilisant le modèle Amazon Titan Text G1 - Lite et la création d'un rôle IAM de service.
Consultation des résultats d’une tâche d’évaluation de modèle à l’aide de la console Amazon Bedrock
Lorsqu'une tâche d'évaluation de modèle est terminée, les résultats sont stockés dans le Amazon S3bucket que vous avez spécifié. Si vous modifiez l’emplacement des résultats de quelque manière que ce soit, le bulletin d’évaluation du modèle n’est plus visible dans la console.
(Tutoriel) Pour créer une évaluation automatique du modèle à l'aide de l'Amazon Titan Text G1 - Lite
-
Ouvrez la console Amazon Bedrock : https://console.aws.amazon.com/bedrock/
. -
Dans le volet de navigation, choisissez Évaluation de modèle.
-
Dans la carte Élaborer une évaluation, sous Automatique, choisissez Créer une évaluation automatique.
-
Sur la page Créer une évaluation automatique, fournissez les informations suivantes :
-
Nom de l’évaluation : donnez un nom descriptif à la tâche d’évaluation de modèle. Ce nom apparaît dans le tableau des tâches d'évaluation du modèle. Le nom doit être unique dans votre nom Compte AWS dans un Région AWS.
-
Description (facultatif) : fournissez éventuellement une description.
-
Sélecteur de modèle — Choisissez le modèle Amazon Titan Text G1 — Lite.
Pour en savoir plus sur les modèles disponibles et pour y accéder dans Amazon Bedrock, consultezGérez l'accès aux modèles de fondation Amazon Bedrock.
-
(Facultatif) Pour modifier la configuration de l’inférence, choisissez mettre à jour.
La modification de la configuration d'inférence modifie les réponses générées par le modèle sélectionné. Pour en savoir plus sur les paramètres d’inférence disponibles, consultez Paramètres d’inférence pour les modèles de fondation.
-
Type de tâche — Choisissez Génération de texte générale.
-
Dans la fiche Mesures et ensembles de données : vous pouvez voir une liste des mesures disponibles et des ensembles de données d'invite intégrés. Les ensembles de données changent en fonction de la tâche que vous sélectionnez. Dans ce didacticiel, laissez les options par défaut sélectionnées.
-
Résultats de l'évaluation — Spécifiez le S3 URI du répertoire dans lequel vous souhaitez enregistrer les résultats de la tâche d'évaluation de votre modèle. Choisissez Browse S3 pour rechercher un emplacement dans Amazon S3.
-
IAMRôle Amazon Bedrock : cliquez sur le bouton radio Créer un nouveau rôle.
-
(Facultatif) Sous Nom du rôle de service, modifiez le suffixe du rôle qui sera créé en votre nom. Les rôles ainsi créés commenceront toujours par Amazon-Bedrock- -Role- IAM.
-
Un bucket de sortie est toujours requis pour une tâche d'évaluation automatique du modèle et doit être spécifique au rôle IAM de service. Si vous avez déjà spécifié un compartiment dans les résultats de l'évaluation, ce champ est prérempli.
-
Ensuite, choisissez Create role.
-
-
Pour démarrer votre tâche d’évaluation de modèle, choisissez Créer.
Une fois la tâche démarrée, le statut passe à En cours. Lorsque la tâche se termine, le statut devient Terminé.
Pour arrêter une tâche d'évaluation de modèle en cours, choisissez Arrêter l'évaluation. Le statut de la tâche d'évaluation du modèle passera de En cours à Arrêt. Une fois que le statut de la tâche est passé à Arrêté.
Pour savoir comment évaluer, examiner et télécharger les résultats de votre tâche d’évaluation de modèle, consultez Résultats des tâches d’évaluation de modèle.
