了解結果和輸出

批次評估結果分為兩層：彙總 API 回應中的摘要，以及 CloudWatch Logs 中的每個工作階段詳細資訊。

彙總結果

當批次評估完成時，GetBatchEvaluation回應會包含具有彙總摘要的evaluationResults物件。

工作階段計數

每個評估者摘要

中的每個項目都會為一個評估者evaluatorSummaries提供彙總指標：

回應範例

{
    "batchEvaluationId": "12345678-1234-1234-1234-123456789012",
    "status": "COMPLETED",
    "evaluationResults": {
        "numberOfSessionsCompleted": 47,
        "numberOfSessionsFailed": 3,
        "numberOfSessionsIgnored": 0,
        "totalNumberOfSessions": 50,
        "evaluatorSummaries": [
            {
                "evaluatorId": "Builtin.GoalSuccessRate",
                "statistics": {
                    "averageScore": 0.72
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            },
            {
                "evaluatorId": "Builtin.Helpfulness",
                "statistics": {
                    "averageScore": 0.81
                },
                "totalEvaluated": 47,
                "totalFailed": 0
            }
        ]
    }
}

CloudWatch Logs 中的每個工作階段詳細資訊

GetBatchEvaluation 回應中的 outputConfig 欄位指定 CloudWatch Logs 位置，其中每個工作階段、每個評估器的結果會寫入為 OpenTelemetry 事件。

{
    "outputConfig": {
        "cloudWatchConfig": {
            "logGroupName": "/aws/bedrock-agentcore/evaluations/batch",
            "logStreamName": "12345678-1234-1234-1234-123456789012"
        }
    }
}

日誌串流中的每個事件都包含每個迴轉、每個評估器的詳細資訊：

若要讀取這些事件，請使用 CloudWatch Logs API：

import boto3

logs_client = boto3.client("logs", region_name="us-west-2")

response = logs_client.get_log_events(
    logGroupName="/aws/bedrock-agentcore/evaluations/batch",
    logStreamName="12345678-1234-1234-1234-123456789012",
)

for event in response["events"]:
    print(event["message"])

解譯分數

批次評估分數遵循與隨需評估相同的慣例：

錯誤處理

任務層級錯誤

如果批次評估任務完全失敗， status是 FAILED，並errorDetails包含一或多個描述錯誤內容的錯誤訊息。常見原因：

工作階段層級錯誤

當整體任務成功時，個別工作階段可能會失敗。中的numberOfSessionsFailed計數evaluationResults表示有多少工作階段發生錯誤。每一工作階段錯誤會記錄在 CloudWatch Logs 輸出中。

評估器層級錯誤

在成功評估的工作階段中，個別評估者可能會失敗。每個評估器摘要上的totalFailed計數指出評估器無法評分的工作階段數量。常見原因包括格式不正確的跨度或缺少必要的屬性。

比較跨執行的結果

常見的工作流程是在變更前後執行批次評估 （提示更新、模型交換、工具修改），並比較彙總分數：

# After running two batch evaluations
baseline = client.get_batch_evaluation(batchEvaluationId=baseline_id)
treatment = client.get_batch_evaluation(batchEvaluationId=treatment_id)

baseline_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in baseline["evaluationResults"]["evaluatorSummaries"]
}
treatment_summaries = {
    s["evaluatorId"]: s["statistics"]["averageScore"]
    for s in treatment["evaluationResults"]["evaluatorSummaries"]
}

print(f"{'Evaluator':<35} {'Baseline':>10} {'Treatment':>10} {'Delta':>10}")
print("=" * 67)
for eid in baseline_summaries:
    b = baseline_summaries[eid]
    t = treatment_summaries.get(eid, 0)
    delta = t - b
    print(f"{eid:<35} {b:>10.4f} {t:>10.4f} {delta:>+10.4f}")

從 CLI 檢視結果

除了 GetBatchEvaluation API 之外，AgentCore CLI 還會顯示相同的結果：

# View a single batch evaluation job and its results
agentcore view batch-evaluation 12345678-1234-1234-1234-123456789012 --json

# List batch evaluation jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history --json