View a markdown version of this page

Pré-requisitos - Base da Amazônia AgentCore
ConfiguraçãoAWS credenciais e permissõesRequisitos de SDK e CLI

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Pré-requisitos

Antes de executar avaliações em lote, verifique se o seguinte está em vigor.

Configuração

Configure o seguinte antes de executar avaliações em lote:

  • Um agente criado com uma estrutura compatível e uma biblioteca de instrumentação. Para obter mais informações sobre estruturas compatíveis e bibliotecas de instrumentação, consulte Estruturas de agentes suportadas.

  • Um agente implantado no AgentCore Runtime com a observabilidade ativada ou um agente criado com uma estrutura compatível configurada com o AgentCore Observability, incluindo a Pesquisa de Transações. Para obter mais informações sobre a configuração de telemetria, consulte Configuração e entrega de telemetria.

  • Um agente invocado com dados de telemetria no Logs. CloudWatch Aguarde de 2 a 5 minutos para CloudWatch ingerir a telemetria antes de iniciar uma avaliação em lote.

AWS credenciais e permissões

A avaliação em lote é executada sob as credenciais do chamador. Diferentemente da avaliação on-line, a avaliação em lote não exige uma função de execução de serviço separada. O serviço usa sua identidade do IAM para acessar CloudWatch os registros para descobrir a sessão e gravar os resultados da avaliação.

AWS credenciais configuradas com permissões para os seguintes serviços:

  • bedrock-agentcore— para iniciar, obter, listar, interromper e excluir avaliações em lote

  • logs(CloudWatch Logs) — para ler períodos de sessão e escrever resultados de avaliação

Permissões obrigatórias do IAM

A política do IAM a seguir concede as permissões mínimas necessárias para executar avaliações em lote:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "DescribeLogGroups",
            "Effect": "Allow",
            "Action": "logs:DescribeLogGroups",
            "Resource": "*"
        },
        {
            "Sid": "WriteEvaluationLogs",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:PutRetentionPolicy"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*:*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
nota

A BedrockInvokeForCustomEvaluators declaração é necessária somente se você usar um avaliador personalizado que invoca os modelos Amazon Bedrock. Você pode omiti-lo ao usar somente avaliadores integrados.

nota

A WriteEvaluationLogs declaração permite que o serviço crie o grupo de registros dos resultados da avaliação e os fluxos de registros e grave os resultados sob suas credenciais. Você deve concederlogs:DescribeLogGroups, Resource * pois essa ação não oferece suporte a permissões em nível de recurso.

Requisitos de SDK e CLI

  • AWS SDK (boto3): Python 3.10 ou posterior.

  • AgentCore CLI: Execute agentcore --version para verificar sua versão.

nota

A superfície CLI de avaliação em lote consiste nos seguintes comandos:

  • agentcore run batch-evaluation— iniciar uma avaliação em lote

  • agentcore stop batch-evaluation -i <id>— interromper uma avaliação em lote em execução

  • agentcore view batch-evaluation [id]e agentcore batch-evaluations history — visualizar um trabalho ou listar trabalhos

  • agentcore archive batch-evaluation -i <id>— arquivar um registro de trabalho de avaliação em lote no serviço e limpar o histórico local

A ação bedrock-agentcore:DeleteBatchEvaluation do IAM é apoiada pelo archive batch-evaluation comando da CLI; não há verbo literal da delete CLI.