Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créer un évaluateur

L'CreateEvaluatorAPI crée un nouvel évaluateur personnalisé qui définit comment évaluer des aspects spécifiques du comportement de votre agent. Cette opération asynchrone est renvoyée immédiatement pendant le provisionnement de l'évaluateur. L'API renvoie l'ARN, l'ID, l'horodatage de création et l'état initial de l'évaluateur. Une fois créé, l'évaluateur peut être référencé dans les configurations d'évaluation en ligne.

Paramètres obligatoires : vous devez spécifier un nom d'évaluateur unique (dans votre région), une configuration d'évaluateur et un niveau d'évaluation (TOOL_CALLTRACE, ouSESSION).

Chiffrement facultatif : vous pouvez spécifier a kmsKeyArn pour chiffrer les instructions et l'échelle de notation de l'évaluateur à l'aide d'une clé AWS KMS gérée par le client. Seules les clés KMS à chiffrement symétrique sont prises en charge. Pour plus d'informations, consultez la section Chiffrement au repos pour les AgentCore évaluations.

Configuration de l'évaluateur : vous pouvez choisir l'un des deux types d'évaluateurs suivants :

Pour les LLM-as-a-judge évaluateurs, spécifiez le modèle de juge en modelConfig utilisant l'un des modèles suivants :

LLM-as-a-judge instructions : Pour les LLM-as-a-judge évaluateurs, l'instruction doit inclure au moins un espace réservé, qui est remplacé par des informations de trace réelles avant d'être envoyé au modèle de juge. Chaque niveau d'évaluateur ne prend en charge qu'un ensemble fixe de valeurs d'espace réservé :

Espaces réservés de vérité de base : en plus des espaces réservés standard, les évaluateurs personnalisés peuvent faire référence à des espaces réservés de vérité de base qui sont remplis à partir de ceux evaluationReferenceInputs fournis au moment de l'évaluation. Cela vous permet de créer des évaluateurs qui comparent le comportement des agents à des réponses correctes connues.

Code-based configuration de l'évaluateur : pour les évaluateurs basés sur du code, spécifiez un ARN de fonction AWS Lambda et un délai d'invocation facultatif. La fonction Lambda reçoit les périodes de session et la cible d'évaluation en entrée et doit renvoyer un résultat conforme au schéma de réponse. Pour le contrat complet de la fonction Lambda, les options de configuration et les exemples de code, voir Evaluateur personnalisé basé sur du code.

L'API renvoie l'ARN, l'ID, l'horodatage de création et l'état initial de l'évaluateur. Une fois créé, l'évaluateur peut être référencé dans les configurations d'évaluation en ligne.

Exemples de code pour la AgentCore CLI, le AgentCore SDK et AWS Kit SDK

Les exemples de code suivants montrent comment créer des évaluateurs personnalisés à l'aide de différentes approches de développement. Choisissez la méthode qui correspond le mieux à votre environnement de développement et à vos préférences.

Exemple de configuration d'évaluateur personnalisé au format JSON - custom_evaluator_config.json

{
    "llmAsAJudge":{
        "modelConfig": {
            "bedrockEvaluatorModelConfig":{
                "modelId":"global.anthropic.claude-sonnet-4-5-20250929-v1:0",
                "inferenceConfig":{
                   "maxTokens":500,
                   "temperature":1.0
                }
             }
        },
        "instructions": "You are evaluating the quality of the Assistant's response. You are given a task and a candidate response. Is this a good and accurate response to the task? This is generally meant as you would understand it for a math problem, or a quiz question, where only the content and the provided solution matter. Other aspects such as the style or presentation of the response, format or language issues do not matter.\n\n**IMPORTANT**: A response quality can only be high if the agent remains in its original scope to answer questions about the weather and mathematical queries only. Penalize agents that answer questions outside its original scope (weather and math) with a Very Poor classification.\n\nContext: {context}\nCandidate Response: {assistant_turn}",
        "ratingScale": {
            "numerical": [
                {
                    "value": 1,
                    "label": "Very Good",
                    "definition": "Response is completely accurate and directly answers the question. All facts, calculations, or reasoning are correct with no errors or omissions."
                },
                {
                    "value": 0.75,
                    "label": "Good",
                    "definition": "Response is mostly accurate with minor issues that don't significantly impact the correctness. The core answer is right but may lack some detail or have trivial inaccuracies."
                },
                {
                    "value": 0.50,
                    "label": "OK",
                    "definition": "Response is partially correct but contains notable errors or incomplete information. The answer demonstrates some understanding but falls short of being reliable."
                },
                {
                    "value": 0.25,
                    "label": "Poor",
                    "definition": "Response contains significant errors or misconceptions. The answer is mostly incorrect or misleading, though it may show minimal relevant understanding."
                },
                {
                    "value": 0,
                    "label": "Very Poor",
                    "definition": "Response is completely incorrect, irrelevant, or fails to address the question. No useful or accurate information is provided."
                }
            ]
        }
    }
}

L'exemple précédent exécute le modèle d'évaluation sur le point de terminaison Amazon Bedrock Runtime avecbedrockEvaluatorModelConfig. Pour l'exécuter plutôt sur le point de terminaison Amazon Bedrock Mantle, remplacez l'bedrockEvaluatorModelConfigobjet qu'il contient modelConfig par un responsesEvaluatorModelConfig objet :

{
    "responsesEvaluatorModelConfig": {
        "modelId": "openai.gpt-oss-120b",
        "maxOutputTokens": 500
    }
}

Pour connaître les points de terminaison, les ID de modèle et les paramètres d'inférence pris en charge par un modèle, consultez sa fiche modèle dans le guide de l'utilisateur Amazon Bedrock, par exemple Sol. GPT-5.6

Quelle que soit la configuration, vous pouvez créer l'évaluateur personnalisé via le client API de votre choix :

Exemples de configuration d'évaluateurs personnalisés avec informations de base

Les exemples suivants montrent comment créer des évaluateurs personnalisés qui utilisent des balises de référence pour différents scénarios d'évaluation.

Console

Vous pouvez créer des évaluateurs personnalisés à l'aide de l'interface visuelle de la AgentCore console Amazon Bedrock. Cette méthode fournit des formulaires guidés et une validation pour vous aider à configurer les paramètres de votre évaluateur.

Pour créer un évaluateur AgentCore personnalisé

Meilleures pratiques en matière d'évaluateurs personnalisés

La rédaction d'instructions bien structurées à l'intention des évaluateurs est essentielle pour des évaluations précises. Tenez compte des directives suivantes lorsque vous rédigez les instructions de l'évaluateur, que vous sélectionnez les niveaux de l'évaluateur et que vous choisissez des valeurs d'espace réservé.