Démarrage d'une tâche d'évaluation automatique de modèles dans Amazon Bedrock - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Démarrage d'une tâche d'évaluation automatique de modèles dans Amazon Bedrock

Vous pouvez créer une tâche d'évaluation automatique du modèle à l'aide du AWS Management Console AWS CLI, ou d'un support AWS SDK. Dans une tâche d'évaluation automatique de modèle, le modèle que vous sélectionnez effectue une inférence à l'aide d'instructions provenant d'un jeu de données intégré compatible ou de votre propre jeu de données d'invite personnalisé. Pour chaque tâche, vous devez également sélectionner un type de tâche. Le type de tâche vous fournit certaines mesures recommandées et des ensembles de données d'invite intégrés. Pour en savoir plus sur les types de tâches et les indicateurs disponibles, consultezTypes de tâches d'évaluation de modèles dans Amazon Bedrock.

Les exemples suivants vous montrent comment créer une tâche d'évaluation automatique de modèles à l'aide de la console Amazon Bedrock SDK pour Python. AWS CLI

Toutes les tâches d'évaluation automatique de modèles nécessitent la création d'un rôle IAM de service. Pour en savoir plus sur les IAM exigences relatives à la configuration d'une tâche d'évaluation de modèles, voirExigences de fonction du service pour les tâches d’évaluation de modèle.

Les exemples suivants montrent comment créer une tâche d'évaluation automatique de modèles. Dans leAPI, vous pouvez également inclure un profil d'inférence dans la tâche en le spécifiant ARN dans le modelIdentifier champ.

Amazon Bedrock console

Utilisez la procédure suivante pour créer une tâche d'évaluation de modèle à l'aide de la console Amazon Bedrock. Pour mener à bien cette procédure, assurez-vous que votre IAM utilisateur, groupe ou rôle dispose des autorisations suffisantes pour accéder à la console. Pour en savoir plus, consultez Autorisations de console requises pour créer une tâche d'évaluation automatique du modèle.

En outre, les CORS autorisations requises doivent être ajoutées au compartiment Amazon S3 pour tous les ensembles de données d'invite personnalisés que vous souhaitez spécifier dans le travail d'évaluation du modèle. Pour en savoir plus sur l'ajout des CORS autorisations requises, voir,Autorisations de partage de ressources entre origines (CORS) requises sur les compartiments S3.

Pour créer une tâche d'évaluation automatique des modèles

  1. Ouvrez la console Amazon Bedrock : https://console.aws.amazon.com/bedrock/

  2. Dans le volet de navigation, choisissez Évaluation de modèle.

  3. Dans la carte Élaborer une évaluation, sous Automatique, choisissez Créer une évaluation automatique.

  4. Sur la page Créer une évaluation automatique, fournissez les informations suivantes :

    1. Nom de l’évaluation : donnez un nom descriptif à la tâche d’évaluation de modèle. Ce nom s’affiche dans votre liste de tâches d’évaluation de modèle. Il doit être unique dans votre compte et au sein d’une Région AWS.

    2. Description (facultatif) : fournissez éventuellement une description.

    3. Modèles : choisissez le modèle que vous souhaitez utiliser dans la tâche d’évaluation de modèle.

      Pour en savoir plus sur les modèles disponibles et pour y accéder dans Amazon Bedrock, consultezAccédez aux modèles de fondations Amazon Bedrock.

    4. (Facultatif) Pour modifier la configuration de l’inférence, choisissez mettre à jour.

      Le fait de modifier la configuration de l’inférence a pour effet de modifier les réponses générées par les modèles sélectionnés. Pour en savoir plus sur les paramètres d’inférence disponibles, consultez Paramètres de demande d'inférence et champs de réponse pour les modèles de base.

    5. Type de tâche : choisissez le type de tâche que le modèle doit tenter d’effectuer dans la tâche d’évaluation de modèle.

    6. Métriques et jeux de données : la liste des métriques et des jeux de données de requêtes disponibles change en fonction de la tâche sélectionnée. Vous pouvez effectuer un choix dans la liste Jeux de données intégrés disponibles ou choisir Utiliser votre jeu de données de requêtes. Si vous choisissez d'utiliser votre propre jeu de données d'invite, entrez le S3 exact URI de votre fichier de jeu de données d'invite ou choisissez Parcourir S3 pour rechercher votre ensemble de données d'invite.

    7. >Résultats de l'évaluation : spécifiez le S3 URI du répertoire dans lequel vous souhaitez enregistrer les résultats. Choisissez Browse S3 pour rechercher un emplacement dans Amazon S3.

    8. (Facultatif) Pour activer l'utilisation d'une clé gérée par le client, choisissez Personnaliser les paramètres de chiffrement (avancés). Indiquez ensuite ARN la AWS KMS clé que vous souhaitez utiliser.

    9. IAMRôle Amazon Bedrock : choisissez Utiliser un rôle existant pour utiliser un rôle de IAM service disposant déjà des autorisations requises, ou choisissez Créer un nouveau rôle pour créer un nouveau rôle de IAM service.

  5. Ensuite, choisissez Créer.

Une fois que le statut change Terminé, vous pouvez consulter le bulletin du travail.

SDK for Python

L'exemple suivant crée une tâche d'évaluation automatique en utilisant Python.

import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)
AWS CLI

Dans le AWS CLI, vous pouvez utiliser la help commande pour voir quels paramètres sont obligatoires et quels paramètres sont facultatifs lors de la spécification create-evaluation-job dans le AWS CLI.

aws bedrock create-evaluation-job help
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'