View a markdown version of this page

前提条件 - Amazon Bedrock AgentCore
エージェントの要件AWS 認証情報とアクセス許可SDK と CLI の要件

前提条件

バッチ評価を実行する前に、以下が設定されていることを確認してください。

エージェントの要件

  • オブザーバビリティが有効になっている AgentCore ランタイムにデプロイされたエージェント、または AgentCore オブザーバビリティで設定されたサポートされているフレームワークで構築されたエージェント。サポートされているフレームワーク:

    • Strands Agents

    • opentelemetry-instrumentation-langchain または を使用した LangGraph openinference-instrumentation-langchain

  • CloudWatch でトランザクション検索が有効になっています (セッションソースとして CloudWatch を使用する場合に必要）。

  • CloudWatch Logs のテレメトリデータを含むエージェントセッション。エージェントを呼び出し、CloudWatch がテレメトリを取り込むまで 2～5 分待ってからバッチ評価を開始します。

AWS 認証情報とアクセス許可

バッチ評価は、発信者の認証情報で実行されます。オンライン評価とは異なり、バッチ評価には個別のサービス実行ロールは必要ありません。サービスは IAM ID を使用して CloudWatch Logs にアクセスし、セッション検出と評価結果の書き込みを行います。

AWS 認証情報は、次のサービスのアクセス許可で設定されています。

  • bedrock-agentcore — バッチ評価を開始、取得、一覧表示、停止、削除するには

  • logs (CloudWatch Logs) — セッションスパンの読み取りと評価結果の書き込み

必要な IAM 許可

次の IAM ポリシーは、バッチ評価の実行に必要な最小限のアクセス許可を付与します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
注記

BedrockInvokeForCustomEvaluators ステートメントは、Amazon Bedrock モデルを呼び出すカスタム評価者を使用する場合にのみ必要です。組み込み評価者のみを使用する場合は省略できます。

SDK と CLI の要件

  • AWS SDK (boto3): Python 3.10 以降。

  • AgentCore CLI: agentcore --versionを実行してバージョンを確認します。

注記

バッチ評価 CLI の表面は以下のコマンドで構成されます。

  • agentcore run batch-evaluation — バッチ評価を開始する

  • agentcore stop batch-evaluation -i <id> — 実行中のバッチ評価を停止する

  • agentcore view batch-evaluation [id] および agentcore batch-evaluations history — ジョブの表示またはジョブの一覧表示

  • agentcore archive batch-evaluation -i <id> — サービスにバッチ評価ジョブレコードをアーカイブし、ローカル履歴をクリアする

bedrock-agentcore:DeleteBatchEvaluation IAM アクションは CLI の archive batch-evaluation コマンドによってバックアップされます。リテラル delete CLI 動詞はありません。