バッチ評価結果の取得

バッチ評価ジョブのステータスと結果を取得します。ジョブが終了状態 (COMPLETED、、または ) になるまでFAILED、このオペレーションをポーリングしますSTOPPED。

コードサンプル

例

AgentCore CLI

--wait フラグはagentcore run batch-evaluation、の動作を制御します。

--waitの場合: コマンドは、ジョブが終了状態になるまでブロックします。

なし--wait: コマンドはジョブを開始し、すぐにを返します。ステータスを個別にポーリングします。


# Start a job and block until it reaches a terminal state
agentcore run batch-evaluation -r MyAgent -e Builtin.Correctness --wait

# List previously started jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history

# Check the status and results of a single job
agentcore view batch-evaluation <batch-evaluation-id>

# Non-interactive (JSON) output, the CLI analogue of a get_batch_evaluation polling loop
agentcore view batch-evaluation <batch-evaluation-id> --json

# Stop a running job
agentcore stop batch-evaluation -i <batch-evaluation-id>

の CLI 出力agentcore run batch-evaluationまたはagentcore batch-evaluations historyリストからバッチ評価 ID を使用します。

AWS SDK (boto3)


import time
import boto3

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# Poll until terminal state
while True:
    result = client.get_batch_evaluation(batchEvaluationId=batch_eval_id)
    status = result["status"]
    print(f"Status: {status}")

    if status in ("COMPLETED", "COMPLETED_WITH_ERRORS", "FAILED", "STOPPED"):
        break
    time.sleep(30)

# Display results
if result.get("evaluationResults"):
    er = result["evaluationResults"]
    print(f"Sessions completed: {er.get('numberOfSessionsCompleted', 0)}")
    print(f"Sessions failed:    {er.get('numberOfSessionsFailed', 0)}")
    print(f"Total sessions:     {er.get('totalNumberOfSessions', 0)}")

    for summary in er.get("evaluatorSummaries", []):
        avg = summary.get("statistics", {}).get("averageScore")
        print(f"  {summary['evaluatorId']}: {avg}")

リクエストパラメータ

パラメータ	タイプ	必須	説明
`batchEvaluationId`	文字列	はい	によって返されるバッチ評価 ID`StartBatchEvaluation`。パスパラメータとして渡されます。

[応答]

フィールド	タイプ	説明
`batchEvaluationId`	文字列	バッチ評価 ID。
`batchEvaluationArn`	String	バッチ評価の ARN。
`batchEvaluationName`	String	ジョブの名前。
`status`	String	現在のステータス: `PENDING`、`IN_PROGRESS`、、`COMPLETED`、`COMPLETED_WITH_ERRORS`、`FAILED`、`STOPPINGSTOPPED`、。 `DELETING`
`createdAt`	タイムスタンプ	ジョブが作成された日時。
`evaluators`	リスト	使用された評価者。
`outputConfig`	オブジェクト	セッションごとの詳細の CloudWatch Logs 送信先。`cloudWatchConfig.logGroupName` とが含まれます`cloudWatchConfig.logStreamName`。
`evaluationResults`	オブジェクト	ジョブがセッションを処理したときに表示されます。「結果と出力について」を参照してください。
`errorDetails`	文字列のリスト	ジョブが失敗した場合のエラーメッセージ。

evaluationResults フィールド

フィールド	タイプ	説明
`numberOfSessionsCompleted`	整数	正常に評価されたセッションの数。
`numberOfSessionsFailed`	整数	評価に失敗したセッションの数。
`numberOfSessionsInProgress`	整数	評価中のセッションの数。
`totalNumberOfSessions`	整数	検出されたセッションの合計数。
`numberOfSessionsIgnored`	整数	評価のために無視されたセッションの数。サービスはジョブごとに最大 500 セッションを評価します。さらに検出されると、最新の 500 セッションが選択されます。
`evaluatorSummaries`	リスト	評価者ごとの集計結果。

evaluatorSummaries フィールド

フィールド	タイプ	説明
`evaluatorId`	文字列	評価者 ID (例: `Builtin.GoalSuccessRate`)。
`statistics.averageScore`	Double	評価されたすべてのセッションの平均スコア。
`totalEvaluated`	整数	この評価者がスコアリングしたセッションの数。
`totalFailed`	整数	この評価者が失敗したセッションの数。

ステータスライフサイクル

PENDING → IN_PROGRESS → COMPLETED
                      → COMPLETED_WITH_ERRORS
                      → FAILED
         STOPPING     → STOPPED
         DELETING

保留中 — ジョブは受け入れられ、処理のためにキューに入れられます。
IN_PROGRESS — サービスはセッションを検出し、評価者を実行しています。
COMPLETED — すべてのセッションが評価されました。結果が利用可能です。
COMPLETED_WITH_ERRORS — ジョブは終了しましたが、一部のセッションでエラーが発生しました。部分的な結果を使用できます。
FAILED — ジョブでエラーが発生しました。詳細については、errorDetails「」を参照してください。
STOPPING — 停止リクエストを受信しました。ジョブが圧縮されています。
STOPPED — ジョブは完了前に停止されました。部分的な結果が得られる場合があります。
DELETING — ジョブは削除中です。

エラー

エラー	HTTP ステータス	説明
`ResourceNotFoundException`	404	指定された ID のバッチ評価が見つかりませんでした。
`ValidationException`	400	バッチ評価 ID 形式が無効です。
`AccessDeniedException`	403	アクセス許可が不十分です。
`ThrottlingException`	429	リクエストレートを超えました。
`InternalServerException`	500	サービス側のエラー。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

バッチ評価を開始する

バッチ評価を一覧表示する