View a markdown version of this page

先決條件 - Amazon Bedrock AgentCore
客服人員需求AWS 登入資料和許可SDK 和 CLI 需求

先決條件

在您可以執行批次評估之前，請確定下列項目已就緒。

客服人員需求

  • 在啟用可觀測性的 AgentCore 執行時間上部署的代理程式，或使用 AgentCore Observability 設定的支援架構建置的代理程式。支援的架構：

    • Strands 代理程式

    • 使用 opentelemetry-instrumentation-langchain或 的 LangGraph openinference-instrumentation-langchain

  • 在 CloudWatch 中啟用交易搜尋 （使用 CloudWatch 做為工作階段來源時需要）。

  • CloudWatch Logs 中具有遙測資料的代理程式工作階段。叫用您的代理程式，並等待 2-5 分鐘讓 CloudWatch 擷取遙測，再開始批次評估。

AWS 登入資料和許可

批次評估會在發起人的登入資料下執行。與線上評估不同，批次評估不需要單獨的服務執行角色。服務使用您的 IAM 身分來存取 CloudWatch Logs 以進行工作階段探索，以及撰寫評估結果。

AWS 已設定具有下列服務許可的登入資料：

  • bedrock-agentcore — 開始、取得、列出、停止和刪除批次評估

  • logs (CloudWatch Logs) — 讀取工作階段跨度和寫入評估結果

所需的 IAM 許可

下列 IAM 政策會授予執行批次評估所需的最低許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
注意

只有在您使用叫用 Amazon Bedrock 模型的自訂評估器時，才需要 BedrockInvokeForCustomEvaluators陳述式。您可以在僅使用內建評估器時予以省略。

SDK 和 CLI 需求

  • AWS SDK (boto3)：Python 3.10 或更新版本。

  • AgentCore CLI：執行 agentcore --version 以檢查您的版本。

注意

批次評估 CLI 表面包含下列命令：

  • agentcore run batch-evaluation — 開始批次評估

  • agentcore stop batch-evaluation -i <id> — 停止執行中的批次評估

  • agentcore view batch-evaluation [id] 和 agentcore batch-evaluations history — 檢視任務或列出任務

  • agentcore archive batch-evaluation -i <id> — 在服務上封存批次評估任務記錄，並清除本機歷史記錄

IAM bedrock-agentcore:DeleteBatchEvaluation 動作由 CLI 的 archive batch-evaluation命令支援；沒有常值 delete CLI 動詞。