Amazon Bedrock AgentCore 評価を使用してエージェントのパフォーマンスを評価する

Amazon Bedrock AgentCore Evaluations は、エージェントまたはツールが特定のタスクをどの程度適切に実行しているかを測定し、エッジケースを処理し、さまざまな入力とコンテキストにわたって一貫性を維持するための自動評価ツールを提供します。このサービスは、データ駆動型の最適化を可能にし、デプロイ前とデプロイ後にエージェントが品質基準を満たすようにします。

AgentCore Evaluations は、Strands や LangGraph などの一般的なエージェントフレームワークと OpenTelemetry や OpenInference 計測ライブラリと統合されています。内部では、これらのエージェントのトレースは統合形式に変換され、組み込み評価者とカスタム評価者の両方の LLM-as-a-Judge 手法を使用してスコアリングされます。

各評価者には、一意の Amazon リソースネーム (ARN) とリソースポリシーがアタッチされています。評価者 ARNs形式に従います。

arn:aws:bedrock-agentcore:::evaluator/Builtin.Helpfulness (for built-in evaluators)

arn:aws:bedrock-agentcore:region:account:evaluator/my-evaluator-id (for custom evaluators)

組み込み評価者は公開されており、すべてのユーザーがアクセスできます。カスタム評価リソースはプライベートであり、明示的にアクセス権が付与されたユーザーのみがアクセスできます。アクセスを許可するには、評価者と評価設定に IAM リソースベースのポリシーを使用し、ユーザーとロールに IAM アイデンティティベースのポリシーを使用できます。

デフォルトでは、 AWS アカウント内の AWS リージョンごとに最大 1,000 の評価設定を作成し、任意の時点で最大 100 の評価設定をアクティブにできます。このサービスは、大規模なリージョンで、アカウントごとに 1 分あたり最大 100 万の入出力トークンをサポートします。