Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Third-party évaluateurs

AgentCore Evaluations propose des évaluateurs issus DeepEval de bibliothèques AutoEval open source. Si vous utilisez déjà ces bibliothèques, vous pouvez exécuter les mêmes métriques dans AgentCore Evaluations. Le service gère l'hébergement et le code d'évaluation pour vous. Avec l'option gérée, le service sélectionne également le modèle et exécute l'inférence, de la même manière que pour les évaluateurs intégrés.

Il existe deux manières de faire appel à des évaluateurs tiers :

Identité de l'évaluateur

Ensemble, deux champs permettent d'identifier chaque évaluateur, y compris les évaluateurs tiers :

Les deux champs étant indépendants, chaque évaluateur est une (evaluatorType, provider) paire :

L'ID d'un évaluateur tiers géré suit le ThirdParty.<Provider>.<Metric> format, par exemple, ou. ThirdParty.DeepEval.TaskCompletion ThirdParty.AutoEval.Security Ce format reflète le Builtin.<Metric> format utilisé pour les évaluateurs intégrés de première partie.

Découvrez les évaluateurs disponibles

Third-party les évaluateurs sont renvoyés par l'ListEvaluatorsAPI en même temps que les évaluateurs intégrés de première partie et tous les évaluateurs personnalisés de votre compte.

{
  "evaluators": [
    {
      "evaluatorId": "Builtin.Helpfulness",
      "evaluatorType": "Builtin",
      "provider": "AWS",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.DeepEval.TaskCompletion",
      "evaluatorType": "ThirdParty",
      "provider": "DeepEval",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.AutoEval.Security",
      "evaluatorType": "ThirdParty",
      "provider": "AutoEval",
      "level": "TRACE",
      "status": "ACTIVE"
    }
  ]
}

Évaluateurs tiers gérés

Utilisez un évaluateur tiers géré exactement comme un évaluateur intégré : sélectionnez-le par identifiant et le service l'exécute sur un modèle qu'il exploite. Vous ne fournissez pas de modèle, d'invite ou de configuration.

Vous pouvez transmettre l'identifiant d'un évaluateur tiers géré partout où vous transmettriez un identifiant d'évaluateur intégré :

L'exemple suivant exécute un évaluateur tiers géré avec l'EvaluateAPI :

import boto3

client = boto3.client('bedrock-agentcore')

response = client.evaluate(
    evaluatorId="ThirdParty.DeepEval.TaskCompletion",
    evaluationInput={"sessionSpans": session_span_logs}
)

for result in response["evaluationResults"]:
    print(f"Value: {result.get('value')}")
    print(f"Explanation: {result.get('explanation', '')}")

Évaluateurs personnalisés dérivés d'un évaluateur de base

Utilisez un évaluateur dérivé personnalisé pour exécuter un évaluateur existant (un évaluateur tiers intégré ou géré) sur votre propre modèle. Au lieu d'utiliser le modèle choisi par le service, vous fournissez le modèle et les paramètres d'inférence. L'évaluateur de base fournit l'invite et la notation. Cela ne s'applique qu'aux LLM-based évaluateurs.

Pour créer un évaluateur dérivé personnalisé, spécifiez le derived membre de evaluatorConfig avec l'ID de l'évaluateur de base et la configuration de votre modèle. Enregistrez les informations suivantes sous derived_evaluator_config.json :

{
    "derived": {
        "baseEvaluatorId": "ThirdParty.DeepEval.TaskCompletion",
        "modelConfig": {
            "bedrockEvaluatorModelConfig": {
                "modelId": "global.anthropic.claude-sonnet-4-5-20250929-v1:0",
                "inferenceConfig": {
                    "temperature": 0.0,
                    "topP": 1.0,
                    "maxTokens": 2048
                }
            }
        }
    }
}

Vous pouvez également dériver un évaluateur personnalisé à partir d'un évaluateur intégré en définissant baseEvaluatorId un Builtin. ID au lieu d'un ThirdParty. ID.

Créez l'évaluateur à l'aide de l' AWS interface de ligne de commande :

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'my_task_completion' \
    --evaluator-config file://derived_evaluator_config.json

L'évaluateur qui en résulte est evaluatorType réglé sur. CustomDerived Le service dérive provider automatiquement de l'évaluateur de base : AWS pour une Builtin. base, ou du nom du fournisseur pour une ThirdParty. base. Vous ne level le définissez pas : le service le dérive de l'évaluateur de base et il est activé en lecture seule. GetEvaluator Vous ne définissez pas non plus instructions ou ratingScale parce que l'évaluateur de base possède les deux.

Après avoir créé l'évaluateur, utilisez-le exactement comme n'importe quel autre évaluateur personnalisé : transmettez son identifiant d'évaluateur àEvaluate, ou ajoutez-le à la evaluators liste d'une évaluation en ligne ou par lots.

Résultats

Third-party les évaluateurs renvoient la même forme de résultat que les évaluateurs intégrés et personnalisés, aux mêmes emplacements. Pour plus d'informations, voir Résultats et résultats.

Groupe initial d'évaluateurs

Les évaluateurs suivants sont disponibles au lancement.

DeepEval

AutoEval

Console

Dans le sélecteur d'évaluateurs, les évaluateurs tiers apparaissent dans leur propre section d'Third-party évaluateurs, regroupés par fournisseur, séparément des groupes d'évaluateurs intégrés. Cette section est réduite par défaut.

Pour créer un évaluateur personnalisé dérivé d'un évaluateur de base, utilisez le flux Create custom evaluator existant et choisissez Third-party library comme type de définition d'évaluateur. Cette option supprime les sections d'instructions et d'échelle indiquées LLM-as-a-judge, car l'évaluateur de base est propriétaire de l'invite et de la notation. Choisissez une bibliothèque et une métrique, puis indiquez le modèle et les paramètres d'inférence. Le niveau d'évaluation est affiché en lecture seule, défini par la métrique.