Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Comprensione dei risultati e degli output

I risultati della valutazione in batch sono suddivisi in due livelli: riepiloghi aggregati nella risposta API e dettagli per sessione nei log. CloudWatch

Risultati aggregati

Al termine di una valutazione in batch, la GetBatchEvaluation risposta include un evaluationResults oggetto con riepiloghi aggregati.

Conteggi delle sessioni

Per-evaluator riassunti

Ogni voce in evaluatorSummaries fornisce metriche aggregate per un valutatore:

Esempio di risposta

{
    "batchEvaluationId": "12345678-1234-1234-1234-123456789012",
    "status": "COMPLETED",
    "evaluationResults": {
        "numberOfSessionsCompleted": 47,
        "numberOfSessionsFailed": 3,
        "numberOfSessionsIgnored": 0,
        "totalNumberOfSessions": 50,
        "evaluatorSummaries": [
            {
                "evaluatorId": "Builtin.GoalSuccessRate",
                "statistics": {
                    "averageScore": 0.72
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            },
            {
                "evaluatorId": "Builtin.Helpfulness",
                "statistics": {
                    "averageScore": 0.81
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            }
        ]
    }
}

Per-session dettaglio nei registri CloudWatch

Il outputConfig campo nella GetBatchEvaluation risposta specifica una posizione dei CloudWatch log in cui i risultati per sessione e per valutatore vengono scritti come eventi. OpenTelemetry

{
    "outputConfig": {
        "cloudWatchConfig": {
            "logGroupName": "/aws/bedrock-agentcore/evaluations/batch",
            "logStreamName": "12345678-1234-1234-1234-123456789012"
        }
    }
}

Ogni evento nel flusso di log contiene dettagli per turno e per valutatore:

Per leggere questi eventi, usa l'API CloudWatch Logs:

import boto3

logs_client = boto3.client("logs", region_name="us-west-2")

response = logs_client.get_log_events(
    logGroupName="/aws/bedrock-agentcore/evaluations/batch",
    logStreamName="12345678-1234-1234-1234-123456789012",
)

for event in response["events"]:
    print(event["message"])

Interpretazione dei punteggi

I punteggi delle valutazioni in batch seguono le stesse convenzioni della valutazione su richiesta:

Gestione degli errori

Job-level errori

Se il processo di valutazione del batch fallisce completamente, status è FAILED e errorDetails contiene uno o più messaggi di errore che descrivono cosa è andato storto. Cause comuni:

Session-level errori

Le singole sessioni possono fallire se l'intero processo ha esito positivo. Il numberOfSessionsFailed conteggio evaluationResults indica il numero di sessioni con errori. Per-session gli errori vengono registrati nell'output CloudWatch dei log.

Evaluator-level errori

In una sessione valutata con successo, i singoli valutatori possono fallire. Il totalFailed conteggio riportato nel riepilogo di ogni valutatore indica quante sessioni il valutatore non è riuscito a segnare. Le cause più comuni includono intervalli non corretti o attributi obbligatori mancanti.

Confronto dei risultati tra le esecuzioni

Un flusso di lavoro comune consiste nell'eseguire una valutazione in batch prima e dopo una modifica (aggiornamento immediato, cambio di modello, modifica dello strumento) e confrontare i punteggi aggregati:

# After running two batch evaluations
baseline = client.get_batch_evaluation(batchEvaluationId=baseline_id)
treatment = client.get_batch_evaluation(batchEvaluationId=treatment_id)

baseline_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in baseline["evaluationResults"]["evaluatorSummaries"]
}
treatment_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in treatment["evaluationResults"]["evaluatorSummaries"]
}

print(f"{'Evaluator':<35} {'Baseline':>10} {'Treatment':>10} {'Delta':>10}")
print("=" * 67)
for eid in baseline_summaries:
    b = baseline_summaries[eid]
    t = treatment_summaries.get(eid, 0)
    delta = t - b
    print(f"{eid:<35} {b:>10.4f} {t:>10.4f} {delta:>+10.4f}")

Visualizzazione dei risultati dalla CLI

Oltre all'GetBatchEvaluationAPI, la AgentCore CLI mostra gli stessi risultati:

# View a single batch evaluation job and its results
agentcore view batch-evaluation 12345678-1234-1234-1234-123456789012 --json

# List batch evaluation jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history --json