View a markdown version of this page

Requisitos previos - Base amazónica AgentCore
ConfiguraciónAWS credenciales y permisosRequisitos de SDK y CLI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Requisitos previos

Antes de poder ejecutar las evaluaciones por lotes, asegúrese de que se cumple lo siguiente.

Configuración

Configure lo siguiente antes de ejecutar las evaluaciones por lotes:

  • Un agente creado con un marco y una biblioteca de instrumentación compatibles. Para obtener más información sobre los marcos y bibliotecas de instrumentación compatibles, consulte los marcos de agentes compatibles.

  • Un agente implementado en AgentCore Runtime con la observabilidad habilitada o un agente creado con un marco compatible configurado con AgentCore Observability, incluida la búsqueda de transacciones. Para obtener más información sobre la configuración de la telemetría, consulte Configuración y entrega de la telemetría.

  • Un agente invocado con datos de telemetría en los registros. CloudWatch Espere de 2 a 5 minutos para introducir la CloudWatch telemetría antes de iniciar una evaluación por lotes.

AWS credenciales y permisos

La evaluación por lotes se ejecuta con las credenciales de la persona que llama. A diferencia de la evaluación en línea, la evaluación por lotes no requiere una función de ejecución del servicio independiente. El servicio usa su identidad de IAM para acceder a CloudWatch los registros para descubrir las sesiones y escribir los resultados de la evaluación.

AWS credenciales configuradas con permisos para los siguientes servicios:

  • bedrock-agentcore— para iniciar, obtener, enumerar, detener y eliminar las evaluaciones por lotes

  • logs(CloudWatch Registros): para leer los períodos de sesión y escribir los resultados de las evaluaciones

Permisos de IAM necesarios

La siguiente política de IAM otorga los permisos mínimos necesarios para ejecutar las evaluaciones por lotes:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "DescribeLogGroups",
            "Effect": "Allow",
            "Action": "logs:DescribeLogGroups",
            "Resource": "*"
        },
        {
            "Sid": "WriteEvaluationLogs",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:PutRetentionPolicy"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*:*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
nota

La BedrockInvokeForCustomEvaluators declaración solo es obligatoria si utiliza un evaluador personalizado que invoque los modelos de Amazon Bedrock. Puede omitirla si utiliza únicamente evaluadores integrados.

nota

La WriteEvaluationLogs sentencia permite al servicio crear el grupo de registro de los resultados de la evaluación y los flujos de registro y escribir los resultados con sus credenciales. Debes logs:DescribeLogGroups concederlo Resource * porque esta acción no admite permisos a nivel de recursos.

Requisitos de SDK y CLI

  • AWS SDK (boto3): Python 3.10 o posterior.

  • AgentCore CLI: Ejecuta agentcore --version para comprobar tu versión.

nota

La superficie CLI de evaluación por lotes consta de los siguientes comandos:

  • agentcore run batch-evaluation— iniciar una evaluación por lotes

  • agentcore stop batch-evaluation -i <id>— detener la ejecución de una evaluación por lotes

  • agentcore view batch-evaluation [id]y agentcore batch-evaluations history — ver un trabajo o enumerar trabajos

  • agentcore archive batch-evaluation -i <id>— archivar un registro de trabajos de evaluación por lotes en el servicio y borrar el historial local

La acción de bedrock-agentcore:DeleteBatchEvaluation IAM está respaldada por el archive batch-evaluation comando de la CLI; no hay un verbo literal de la delete CLI.