Comprendre les résultats et les résultats

Les résultats des évaluations par lots se répartissent en deux couches : des résumés agrégés dans la réponse de l'API et des informations détaillées par session dans les CloudWatch journaux.

Résultats agrégés

Lorsqu'une évaluation par lots est terminée, la GetBatchEvaluation réponse inclut un evaluationResults objet avec des résumés agrégés.

Nombre de sessions

Per-evaluator résumés

Chaque entrée evaluatorSummaries fournit des mesures agrégées pour un évaluateur :

Exemple de réponse

{
    "batchEvaluationId": "12345678-1234-1234-1234-123456789012",
    "status": "COMPLETED",
    "evaluationResults": {
        "numberOfSessionsCompleted": 47,
        "numberOfSessionsFailed": 3,
        "numberOfSessionsIgnored": 0,
        "totalNumberOfSessions": 50,
        "evaluatorSummaries": [
            {
                "evaluatorId": "Builtin.GoalSuccessRate",
                "statistics": {
                    "averageScore": 0.72
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            },
            {
                "evaluatorId": "Builtin.Helpfulness",
                "statistics": {
                    "averageScore": 0.81
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            }
        ]
    }
}

Per-session détails dans les CloudWatch journaux

Le outputConfig champ de la GetBatchEvaluation réponse indique un emplacement CloudWatch des journaux où les résultats par session et par évaluateur sont écrits sous forme d'événements. OpenTelemetry

{
    "outputConfig": {
        "cloudWatchConfig": {
            "logGroupName": "/aws/bedrock-agentcore/evaluations/batch",
            "logStreamName": "12345678-1234-1234-1234-123456789012"
        }
    }
}

Chaque événement du flux de log contient des informations détaillées par tour et par évaluateur :

Pour lire ces événements, utilisez l'API CloudWatch Logs :

import boto3

logs_client = boto3.client("logs", region_name="us-west-2")

response = logs_client.get_log_events(
    logGroupName="/aws/bedrock-agentcore/evaluations/batch",
    logStreamName="12345678-1234-1234-1234-123456789012",
)

for event in response["events"]:
    print(event["message"])

Interprétation des partitions

Les scores d'évaluation par lots suivent les mêmes conventions que les évaluations à la demande :

Gestion des erreurs

Job-level erreurs

Si la tâche d'évaluation par lots échoue complètement, status il existe FAILED et errorDetails contient un ou plusieurs messages d'erreur décrivant le problème. Causes courantes :

Session-level erreurs

Les sessions individuelles peuvent échouer alors que l'ensemble de la tâche est couronné de succès. Le numberOfSessionsFailed décompte evaluationResults indique le nombre de sessions comportant des erreurs. Per-session les erreurs sont enregistrées dans la sortie CloudWatch des journaux.

Evaluator-level erreurs

Au cours d'une session évaluée avec succès, les évaluateurs individuels peuvent échouer. Le totalFailed décompte sur le résumé de chaque évaluateur indique le nombre de sessions que l'évaluateur n'a pas pu noter. Les causes courantes incluent des travées mal formées ou l'absence d'attributs requis.

Comparaison des résultats entre les essais

Un flux de travail courant consiste à exécuter une évaluation par lots avant et après une modification (mise à jour rapide, échange de modèle, modification d'outil) et à comparer les scores agrégés :

# After running two batch evaluations
baseline = client.get_batch_evaluation(batchEvaluationId=baseline_id)
treatment = client.get_batch_evaluation(batchEvaluationId=treatment_id)

baseline_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in baseline["evaluationResults"]["evaluatorSummaries"]
}
treatment_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in treatment["evaluationResults"]["evaluatorSummaries"]
}

print(f"{'Evaluator':<35} {'Baseline':>10} {'Treatment':>10} {'Delta':>10}")
print("=" * 67)
for eid in baseline_summaries:
    b = baseline_summaries[eid]
    t = treatment_summaries.get(eid, 0)
    delta = t - b
    print(f"{eid:<35} {b:>10.4f} {t:>10.4f} {delta:>+10.4f}")

Affichage des résultats depuis la CLI

Outre l'GetBatchEvaluationAPI, la AgentCore CLI affiche les mêmes résultats :

# View a single batch evaluation job and its results
agentcore view batch-evaluation 12345678-1234-1234-1234-123456789012 --json

# List batch evaluation jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history --json