了解结果和输出

Batch 评估结果分为两层：API 响应中的汇总摘要和 CloudWatch 日志中的每个会话的详细信息。

汇总结果

批量评估完成后，GetBatchEvaluation响应将包含一个带有汇总摘要的evaluationResults对象。

会话计数

Per-evaluator 摘要

中的每个条目都为一位评估者evaluatorSummaries提供了汇总指标：

响应示例

{
    "batchEvaluationId": "12345678-1234-1234-1234-123456789012",
    "status": "COMPLETED",
    "evaluationResults": {
        "numberOfSessionsCompleted": 47,
        "numberOfSessionsFailed": 3,
        "numberOfSessionsIgnored": 0,
        "totalNumberOfSessions": 50,
        "evaluatorSummaries": [
            {
                "evaluatorId": "Builtin.GoalSuccessRate",
                "statistics": {
                    "averageScore": 0.72
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            },
            {
                "evaluatorId": "Builtin.Helpfulness",
                "statistics": {
                    "averageScore": 0.81
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            }
        ]
    }
}

Per-session CloudWatch 日志中的详细信息

GetBatchEvaluation响应中的outputConfig字段指定了 CloudWatch 日志位置，在该位置中，每个会话、每个评估者的结果将作为事件写入。 OpenTelemetry

{
    "outputConfig": {
        "cloudWatchConfig": {
            "logGroupName": "/aws/bedrock-agentcore/evaluations/batch",
            "logStreamName": "12345678-1234-1234-1234-123456789012"
        }
    }
}

日志流中的每个事件都包含每回合、每个评估者的详细信息：

要读取这些事件，请使用日 CloudWatch 志 API：

import boto3

logs_client = boto3.client("logs", region_name="us-west-2")

response = logs_client.get_log_events(
    logGroupName="/aws/bedrock-agentcore/evaluations/batch",
    logStreamName="12345678-1234-1234-1234-123456789012",
)

for event in response["events"]:
    print(event["message"])

解读分数

Batch 评估分数遵循与按需评估相同的惯例：

错误处理

Job-level 错误

如果批量评估作业完全失败，status则FAILED会errorDetails包含一条或多条错误消息，描述出了什么问题。常见原因：

Session-level 错误

当整个作业成功时，单个会话可能会失败。中的numberOfSessionsFailed计数evaluationResults表示有多少会话出现了错误。 Per-session 错误记录在 CloudWatch 日志输出中。

Evaluator-level 错误

在成功评估的会话中，个别评估者可能会失败。每个评估者摘要的totalFailed计数表示该评估者无法得分的会话次数。常见原因包括跨度格式错误或缺少必需的属性。

比较各次运行的结果

常见的工作流程是在更改（提示更新、模型交换、工具修改）之前和之后运行批量评估，并比较汇总分数：

# After running two batch evaluations
baseline = client.get_batch_evaluation(batchEvaluationId=baseline_id)
treatment = client.get_batch_evaluation(batchEvaluationId=treatment_id)

baseline_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in baseline["evaluationResults"]["evaluatorSummaries"]
}
treatment_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in treatment["evaluationResults"]["evaluatorSummaries"]
}

print(f"{'Evaluator':<35} {'Baseline':>10} {'Treatment':>10} {'Delta':>10}")
print("=" * 67)
for eid in baseline_summaries:
    b = baseline_summaries[eid]
    t = treatment_summaries.get(eid, 0)
    delta = t - b
    print(f"{eid:<35} {b:>10.4f} {t:>10.4f} {delta:>+10.4f}")

从 CLI 中查看结果

除了 GetBatchEvaluation API 之外， AgentCore CLI 还会显示相同的结果：

# View a single batch evaluation job and its results
agentcore view batch-evaluation 12345678-1234-1234-1234-123456789012 --json

# List batch evaluation jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history --json