View a markdown version of this page

先決條件 - Amazon Bedrock AgentCore
設定AWS 登入資料和許可SDK 和 CLI 需求

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

先決條件

在您可以執行批次評估之前，請確定下列項目已就緒。

設定

在執行批次評估之前，請先設定下列項目：

  • 使用支援的架構和檢測程式庫建置的代理程式。如需支援的架構和檢測程式庫的詳細資訊，請參閱支援的代理程式架構。

  • 在啟用可觀測性的 AgentCore 執行期上部署的代理程式，或使用 AgentCore 可觀測性設定的支援架構建置的代理程式，包括交易搜尋。如需遙測設定的詳細資訊，請參閱遙測設定和交付。

  • 在 CloudWatch Logs 中使用遙測資料調用的代理程式。等待 2-5 分鐘讓 CloudWatch 擷取遙測，再開始批次評估。

AWS 登入資料和許可

批次評估會在發起人的登入資料下執行。與線上評估不同，批次評估不需要單獨的服務執行角色。服務使用您的 IAM 身分來存取 CloudWatch Logs 以進行工作階段探索，並撰寫評估結果。

AWS 已設定具有下列服務許可的登入資料：

  • bedrock-agentcore — 開始、取得、列出、停止和刪除批次評估

  • logs (CloudWatch Logs) — 讀取工作階段跨度和寫入評估結果

所需的 IAM 許可

下列 IAM 政策會授予執行批次評估所需的最低許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "DescribeLogGroups",
            "Effect": "Allow",
            "Action": "logs:DescribeLogGroups",
            "Resource": "*"
        },
        {
            "Sid": "WriteEvaluationLogs",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:PutRetentionPolicy"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*:*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
注意

只有在您使用叫用 Amazon Bedrock 模型的自訂評估器時，才需要 BedrockInvokeForCustomEvaluators陳述式。您可以在僅使用內建評估器時予以省略。

注意

WriteEvaluationLogs 陳述式可讓服務建立 evaluation-results 日誌群組和日誌串流，並在您的登入資料下寫入結果。您必須授予 logs:DescribeLogGroups ，Resource*因為此動作不支援資源層級許可。

SDK 和 CLI 需求

  • AWS SDK (boto3)：Python 3.10 或更新版本。

  • AgentCore CLI：執行 agentcore --version 以檢查您的版本。

注意

批次評估 CLI 表面包含下列命令：

  • agentcore run batch-evaluation — 開始批次評估

  • agentcore stop batch-evaluation -i <id> — 停止執行中的批次評估

  • agentcore view batch-evaluation [id] 和 agentcore batch-evaluations history — 檢視任務或列出任務

  • agentcore archive batch-evaluation -i <id> — 在服務上封存批次評估任務記錄，並清除本機歷史記錄

IAM bedrock-agentcore:DeleteBatchEvaluation 動作由 CLI 的 archive batch-evaluation命令支援；沒有常值 delete CLI 動詞。