View a markdown version of this page

Voraussetzungen - Amazon Grundgestein AgentCore
Anforderungen an den AgentenAWS Anmeldeinformationen und BerechtigungenSDK- und CLI-Anforderungen

Voraussetzungen

Bevor Sie Batch-Auswertungen durchführen können, stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind.

Anforderungen an den Agenten

  • Ein auf AgentCore Runtime bereitgestellter Agent mit aktivierter Observability oder ein Agent, der mit einem unterstützten Framework erstellt wurde, das mit AgentCore Observability konfiguriert ist. Unterstützte Frameworks:

    • Strands, Agenten

    • LangGraph mit opentelemetry-instrumentation-langchain oder openinference-instrumentation-langchain

  • Transaktionssuche aktiviert in CloudWatch (erforderlich bei Verwendung CloudWatch als Sitzungsquelle).

  • Agentensitzungen mit Telemetriedaten in CloudWatch Protokollen. Rufen Sie Ihren Agenten auf und warten Sie 2—5 Minuten, bis die Telemetrie CloudWatch aufgenommen ist, bevor Sie mit der Batch-Auswertung beginnen.

AWS Anmeldeinformationen und Berechtigungen

Die Batch-Auswertung wird unter den Anmeldeinformationen des Aufrufers ausgeführt. Im Gegensatz zur Online-Evaluierung ist für die Batch-Auswertung keine separate Dienstausführungsrolle erforderlich. Der Service verwendet Ihre IAM-Identität, um auf CloudWatch Protokolle für die Sitzungserkennung zuzugreifen und Evaluierungsergebnisse zu schreiben.

AWS Anmeldeinformationen, die mit Berechtigungen für die folgenden Dienste konfiguriert sind:

  • bedrock-agentcore— um Batch-Auswertungen zu starten, abzurufen, aufzulisten, zu beenden und zu löschen

  • logs(CloudWatch Protokolle) — um Sitzungsspannen zu lesen und Evaluationsergebnisse zu schreiben

Erforderliche IAM-Berechtigungen

Die folgende IAM-Richtlinie gewährt die Mindestberechtigungen, die für die Ausführung von Batch-Auswertungen erforderlich sind:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
Anmerkung

Die BedrockInvokeForCustomEvaluators Anweisung ist nur erforderlich, wenn Sie einen benutzerdefinierten Evaluator verwenden, der Amazon Bedrock-Modelle aufruft. Sie können sie weglassen, wenn Sie nur integrierte Evaluatoren verwenden.

SDK- und CLI-Anforderungen

  • AWS SDK (boto3): Python 3.10 oder höher.

  • AgentCore CLI: Führen Sie ausagentcore --version, um Ihre Version zu überprüfen.

Anmerkung

Die CLI-Oberfläche für die Batchauswertung besteht aus den folgenden Befehlen:

  • agentcore run batch-evaluation— startet eine Batch-Auswertung

  • agentcore stop batch-evaluation -i <id>— stoppt eine laufende Batch-Auswertung

  • agentcore view batch-evaluation [id]und agentcore batch-evaluations history — einen Job ansehen oder Jobs auflisten

  • agentcore archive batch-evaluation -i <id>— archivieren Sie einen Auftragsdatensatz zur Batchauswertung im Service und löschen Sie den lokalen Verlauf

Die bedrock-agentcore:DeleteBatchEvaluation IAM-Aktion wird durch den archive batch-evaluation Befehl der CLI unterstützt; es gibt kein wörtliches delete CLI-Verb.