View a markdown version of this page

バッチ評価 - Amazon Bedrock AgentCore

バッチ評価

バッチ評価は、サーバー側のオーケストレーションを使用して、1 つのジョブで複数のエージェントセッションに対して評価者を実行します。スパンを収集して自分で評価 API を呼び出すオンデマンド評価とは異なり、バッチ評価はセッション検出、スパン収集、スコアリングを完全にサービス側で処理します。ジョブを送信すると、サービスは一致するすべてのセッションを処理し、集計結果を返します。

次の必要がある場合は、バッチ評価を使用します。

  • エージェントのプロンプト、ツール、モデルを変更する前に、ベースラインを測定します。

  • 設定変更前後のスコアを比較して、改善を検証します。

  • 厳選されたセッションまたはシナリオのセット全体で回帰テストを実行します。

  • 特定の時間枠から本稼働セッション全体で定期的に品質をモニタリングします。

仕組み

バッチ評価ジョブは次のフローに従います。

  1. ジョブを開始するには、セッションソース (エージェントセッションを検索する場所) と評価設定 (実行する評価者) を指定します。必要に応じて、リファレンスベースのスコアリングのグラウンドトゥルースメタデータを指定します。

  2. サービスは、指定したロググループとフィルターに基づいて CloudWatch Logs からセッションを検出します。 CloudWatch

  3. このサービスは、検出された各セッションに対して評価者を実行します。各評価者は、各セッションを個別に採点します。グラウンドトゥルースが指定されている場合、リファレンスベースのスコアリングをサポートする評価者はそれを使用します。

  4. 結果をポーリングします。ジョブは → PENDING IN_PROGRESS → COMPLETED (または ) を介して移行しますFAILED。完了すると、レスポンスには評価者ごとの平均スコア、セッション数、トークン使用量を含む集計概要が含まれます。

  5. セッションごとの詳細は、レスポンスの で指定された場所にある CloudWatch Logs outputDataConfigで確認できます。

他の評価タイプとの比較

側面 [オンデマンド] オンライン バッチ

Trigger トリガー)

発信者主導、同期

継続的なイベント駆動型

発信者主導、非同期

セッションソース

発信者がスパンをインラインで提供する

ロググループを監視します

CloudWatch Logs からのサービス検出

スコープ

単一セッション

サンプリングルールに一致するすべてのセッション

複数のセッション (時間範囲、セッション IDs、または完全なロググループ)

グラウンドトゥルース

経由 evaluationReferenceInputs

サポートされていません

インライングラウンドトゥルースsessionMetadataを使用した 経由

結果

同期レスポンス

CloudWatch メトリクスとダッシュボード

CloudWatch で評価者ごとの平均とセッションごとの詳細を集計する

ユースケース

開発時スポットチェック、CI/CD

本番モニタリング

ベースライン測定、前後比較、回帰テスト
トピック