Créer un évaluateur

agentcore add evaluator \
  --name "your_custom_evaluator_name" \
  --config custom_evaluator_config.json \
  --level "TRACE"

Cette commande ajoute l'évaluateur à votre agentcore.json configuration locale. Exécutez agentcore deploy pour le créer dans votre AWS compte.

Entrez le nom de votre évaluateur personnalisé.

Sélectionnez le niveau d'évaluation : Session, Trace ou Tool Call.

Choisissez le modèle de juge LLM pour l'évaluation.

Entrez vos instructions d'évaluation. L'invite doit inclure au moins un espace réservé : {context} pour l'historique des conversations ou {available_tools} pour la liste d'outils.

Sélectionnez une échelle de notation prédéfinie ou définissez une échelle personnalisée.

Vérifiez la configuration de l'évaluateur et appuyez sur Entrée pour confirmer.

import json
from bedrock_agentcore_starter_toolkit import Evaluation

eval_client = Evaluation()

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
custom_evaluator = eval_client.create_evaluator(
    name="your_custom_evaluator_name",
    level="TRACE",
    description="Response quality evaluator",
    config=evaluator_config
)

import boto3
import json

client = boto3.client('bedrock-agentcore-control')

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
response = client.create_evaluator(
    evaluatorName="your_custom_evaluator_name",
    level="TRACE",
    evaluatorConfig=evaluator_config
)

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'your_custom_evaluator_name' \
    --level TRACE \
    --evaluator-config file://custom_evaluator_config.json

Cet évaluateur utilise un LLM pour comparer les trajectoires attendues et réelles des outils, ce qui permet de porter un jugement nuancé, par exemple en tolérant des écarts mineurs tels que des appels d'outils d'assistance supplémentaires. Il utilise les actual_tool_trajectory espaces réservés expected_tool_trajectory et.

Enregistrez ce qui suit sous le nom trajectory_compliance_config.json :

{
  "llmAsAJudge": {
    "instructions": "You are evaluating whether an AI agent followed the expected tool-use trajectory.\n\nExpected trajectory (ordered list of tool names):\n{expected_tool_trajectory}\n\nActual trajectory (ordered list of tool names the agent used):\n{actual_tool_trajectory}\n\nFull session context:\n{context}\n\nAvailable tools:\n{available_tools}\n\nCompare the expected and actual trajectories. Consider whether the agent called the right tools in the right order. Minor deviations (e.g., an extra logging tool call) are acceptable if the core trajectory is preserved.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",      "value": 0.0, "definition": "The actual trajectory has no meaningful overlap with the expected trajectory" },
        { "label": "Partial Match", "value": 0.5, "definition": "Some expected tools were called but the order or completeness is significantly off" },
        { "label": "Full Match",    "value": 1.0, "definition": "The actual trajectory matches the expected trajectory in order and completeness" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

Créez l'évaluateur :

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'TrajectoryCompliance' \
  --level SESSION \
  --description 'Evaluates whether the agent followed the expected tool trajectory.' \
  --evaluator-config file://trajectory_compliance_config.json

Cet évaluateur vérifie si le comportement de l'agent répond à un ensemble d'assertions et renvoie un verdict catégorique. PASS/FAIL/INCONCLUSIVE Il utilise l'assertionsespace réservé avec context et. available_tools

Enregistrez ce qui suit sous le nom assertion_checker_config.json :

{
  "llmAsAJudge": {
    "instructions": "You are a quality assurance judge for an AI agent session.\n\nSession context (full conversation history):\n{context}\n\nAvailable tools:\n{available_tools}\n\nAssertions to verify:\n{assertions}\n\nFor each assertion, determine if the session satisfies it. The overall verdict should be PASS only if ALL assertions are satisfied. If any assertion fails, the verdict is FAIL. If the session data is insufficient to determine, verdict is INCONCLUSIVE.",
    "ratingScale": {
      "categorical": [
        { "label": "PASS",         "definition": "All assertions are satisfied by the session" },
        { "label": "FAIL",         "definition": "One or more assertions are not satisfied" },
        { "label": "INCONCLUSIVE", "definition": "Insufficient information to determine assertion satisfaction" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 1024, "temperature": 0.0 }
      }
    }
  }
}

Créez l'évaluateur :

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'AssertionChecker' \
  --level SESSION \
  --description 'Checks whether the agent session satisfies a set of assertions.' \
  --evaluator-config file://assertion_checker_config.json

Cet évaluateur compare la réponse réelle de l'agent à une réponse attendue, en évaluant la similitude sémantique. Il utilise l'expected_responseespace réservé pour recevoir la vérité de base au moment de l'évaluation.

Enregistrez ce qui suit sous le nom response_similarity_config.json :

{
  "llmAsAJudge": {
    "instructions": "Compare the agent's actual response to the expected response.\n\nConversation context:\n{context}\n\nAgent's actual response:\n{assistant_turn}\n\nExpected response:\n{expected_response}\n\nEvaluate semantic similarity. The agent does not need to match word-for-word, but the meaning, key facts, and intent should align. Penalize missing critical information or contradictions.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",        "value": 0.0,  "definition": "The response contradicts or is completely unrelated to the expected response" },
        { "label": "Low Similarity",   "value": 0.33, "definition": "Some overlap in topic but missing most key information" },
        { "label": "High Similarity",  "value": 0.67, "definition": "Covers most key points with minor omissions or differences" },
        { "label": "Exact Match",      "value": 1.0,  "definition": "Semantically equivalent to the expected response" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

Créez l'évaluateur :

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'ResponseSimilarity' \
  --level TRACE \
  --description 'Evaluates how closely the agent response matches the expected response.' \
  --evaluator-config file://response_similarity_config.json