View a markdown version of this page

Pré-requisitos - Amazon Bedrock AgentCore
Requisitos do agenteAWS credenciais e permissõesRequisitos de SDK e CLI

Pré-requisitos

Antes de executar avaliações em lote, verifique se os itens a seguir estão corretos.

Requisitos do agente

AWS credenciais e permissões

A avaliação em lote é executada de acordo com as credenciais do chamador. Diferentemente da avaliação on-line, a avaliação em lote não exige uma função de execução de serviço separada. O serviço usa sua identidade do IAM para acessar CloudWatch os registros para descobrir a sessão e gravar os resultados da avaliação.

AWS credenciais configuradas com permissões para os seguintes serviços:

  • bedrock-agentcore— para iniciar, obter, listar, interromper e excluir avaliações em lote

  • logs(CloudWatch Registros) — para ler períodos de sessão e gravar resultados de avaliação

Permissões obrigatórias do IAM

A política do IAM a seguir concede as permissões mínimas necessárias para executar avaliações em lote:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
nota

A BedrockInvokeForCustomEvaluators declaração é necessária somente se você usar um avaliador personalizado que invoque os modelos Amazon Bedrock. Você pode omiti-lo ao usar somente avaliadores integrados.

Requisitos de SDK e CLI

  • AWS SDK (boto3): Python 3.10 ou posterior.

  • AgentCore CLI: Execute agentcore --version para verificar sua versão.

nota

A superfície da CLI de avaliação em lote consiste nos seguintes comandos:

  • agentcore run batch-evaluation— iniciar uma avaliação em lote

  • agentcore stop batch-evaluation -i <id>— interromper uma avaliação em lote em execução

  • agentcore view batch-evaluation [id]e agentcore batch-evaluations history — ver um trabalho ou listar empregos

  • agentcore archive batch-evaluation -i <id>— arquive um registro do trabalho de avaliação em lote no serviço e limpe o histórico local

A ação bedrock-agentcore:DeleteBatchEvaluation do IAM é apoiada pelo archive batch-evaluation comando da CLI; não há verbo literal da delete CLI.