Évaluez les performances des agents avec Amazon Bedrock AgentCore Evaluations

Amazon Bedrock AgentCore Evaluations fournit des outils d'évaluation automatisés pour mesurer la capacité de votre agent ou de vos outils à exécuter des tâches spécifiques, à gérer les cas extrêmes et à maintenir la cohérence entre les différentes entrées et les différents contextes. Le service permet une optimisation basée sur les données et garantit que vos agents répondent aux normes de qualité avant et après le déploiement.

AgentCore Evaluations s'intègre aux frameworks d'agents les plus courants, notamment LangGraph Strands OpenTelemetry et aux bibliothèques OpenInference d'instrumentation. Sous le capot, les traces de ces agents sont converties dans un format unifié et notées à l'aide de LLM-as-a-Judge techniques destinées à des évaluateurs intégrés et personnalisés.

Chaque évaluateur possède un Amazon Resource Name (ARN) unique et une politique de ressources qui lui est associée. Les ARN des évaluateurs suivent les formats suivants :

arn:aws:bedrock-agentcore:::evaluator/Builtin.Helpfulness (for built-in evaluators)

arn:aws:bedrock-agentcore:region:account:evaluator/my-evaluator-id (for custom evaluators)

Built-in les évaluateurs sont publics et accessibles à tous les utilisateurs. Les ressources d'évaluation personnalisées sont privées et ne sont accessibles qu'aux utilisateurs qui y sont explicitement autorisés. Pour accorder l'accès, vous pouvez utiliser des politiques IAM basées sur les ressources pour les évaluateurs et les configurations d'évaluation, et des politiques IAM basées sur l'identité pour les utilisateurs et les rôles.

Par défaut, vous pouvez créer jusqu'à 1 000 configurations d'évaluation par AWS région dans un AWS compte. Le service prend en charge jusqu'à 1 million de jetons d'entrée et de sortie par minute et par compte pour les grandes régions.