View a markdown version of this page

Prerequisiti - Fondamento Amazon AgentCore
ConfigurazioneAWS credenziali e autorizzazioniRequisiti SDK e CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti

Prima di poter eseguire le valutazioni in batch, assicurati che quanto segue sia presente.

Configurazione

Prima di eseguire le valutazioni in batch, impostate quanto segue:

  • Un agente creato con un framework e una libreria di strumentazione supportati. Per ulteriori informazioni sui framework e sulle librerie di strumentazione supportati, vedere Frameworks per agenti supportati. Framework per agenti supportati

  • Un agente distribuito su AgentCore Runtime con l'osservabilità abilitata o un agente creato con un framework supportato configurato con Observability, inclusa Transaction Search. AgentCore Per ulteriori informazioni sulla configurazione della telemetria, vedere Configurazione e consegna della telemetria. Configurazione e consegna della telemetria

  • Un agente richiamato con i dati di telemetria nei log. CloudWatch Attendi 2-5 minuti per acquisire la telemetria prima di CloudWatch iniziare una valutazione del batch.

AWS credenziali e autorizzazioni

La valutazione in batch viene eseguita con le credenziali del chiamante. A differenza della valutazione online, la valutazione in batch non richiede un ruolo di esecuzione del servizio separato. Il servizio utilizza l'identità IAM dell'utente per accedere ai CloudWatch log per l'individuazione delle sessioni e per scrivere i risultati della valutazione.

AWS credenziali configurate con autorizzazioni per i seguenti servizi:

  • bedrock-agentcore— per avviare, ottenere, elencare, interrompere ed eliminare le valutazioni in batch

  • logs(CloudWatch Log) — per leggere gli intervalli delle sessioni e scrivere i risultati delle valutazioni

Autorizzazioni IAM richieste

La seguente politica IAM concede le autorizzazioni minime necessarie per eseguire le valutazioni in batch:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "DescribeLogGroups",
            "Effect": "Allow",
            "Action": "logs:DescribeLogGroups",
            "Resource": "*"
        },
        {
            "Sid": "WriteEvaluationLogs",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:PutRetentionPolicy"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*:*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
Nota

La BedrockInvokeForCustomEvaluators dichiarazione è richiesta solo se utilizzi un valutatore personalizzato che richiama i modelli Amazon Bedrock. Puoi ometterlo quando usi solo valutatori integrati.

Nota

L'WriteEvaluationLogsistruzione consente al servizio di creare il gruppo di log dei risultati di valutazione e i flussi di log e di scrivere i risultati con le credenziali dell'utente. È necessario concedere logs:DescribeLogGroups l'autorizzazione Resource * perché questa azione non supporta le autorizzazioni a livello di risorsa.

Requisiti SDK e CLI

  • AWS SDK (boto3): Python 3.10 o successivo.

  • AgentCore CLI: esegui per verificare la tua versione. agentcore --version

Nota

La superficie CLI per la valutazione in batch è composta dai seguenti comandi:

  • agentcore run batch-evaluation— avviare una valutazione in batch

  • agentcore stop batch-evaluation -i <id>— interrompere una valutazione del batch in corso

  • agentcore view batch-evaluation [id]e agentcore batch-evaluations history — visualizza un lavoro o elenca i lavori

  • agentcore archive batch-evaluation -i <id>— archiviare un record di lavoro di valutazione in batch sul servizio e cancellare la cronologia locale

L'azione bedrock-agentcore:DeleteBatchEvaluation IAM è supportata dal archive batch-evaluation comando della CLI; non esiste un verbo delete CLI letterale.