# バッチ評価
バッチ評価は、サーバー側のオーケストレーションを使用して、1 つのジョブで複数のエージェントセッションに対して評価者を実行します。スパンを収集して自分で評価 API を呼び出すオンデマンド評価とは異なり、バッチ評価はセッション検出、スパン収集、スコアリングを完全にサービス側で処理します。ジョブを送信すると、サービスは一致するすべてのセッションを処理し、集計結果を返します。
次の必要がある場合は、バッチ評価を使用します。
+ エージェントのプロンプト、ツール、モデルを変更する前に、**ベースラインを測定します**。
+ 設定変更前後のスコアを比較して、**改善を検証**します。
+ 厳選されたセッションまたはシナリオのセット全体で**回帰テストを実行します**。
+ 特定の時間枠から本稼働セッション全体で**定期的に品質をモニタリング**します。
**仕組み**
バッチ評価ジョブは次のフローに従います。
1. **ジョブを開始するには**、セッションソース (エージェントセッションを検索する場所) と評価設定 (実行する評価者) を指定します。必要に応じて、リファレンスベースのスコアリングのグラウンドトゥルースメタデータを指定します。
1. **サービスは、指定したロググループとフィルターに基づいて CloudWatch Logs からセッションを検出**します。 CloudWatch
1. **このサービスは、検出された各セッションに対して評価者を実行します**。各評価者は、各セッションを個別に採点します。グラウンドトゥルースが指定されている場合、リファレンスベースのスコアリングをサポートする評価者はそれを使用します。
1. **結果をポーリングします。**ジョブは → `PENDING` `IN_PROGRESS` → `COMPLETED` (または ) を介して移行します`FAILED`。完了すると、レスポンスには評価者ごとの平均スコア、セッション数、トークン使用量を含む集計概要が含まれます。
1. **セッションごとの詳細は**、レスポンスの で指定された場所にある CloudWatch Logs `outputDataConfig`で確認できます。
**他の評価タイプとの比較**
| 側面 | [オンデマンド] | オンライン | バッチ |
| --- | --- | --- | --- |
| Trigger トリガー) | 発信者主導、同期 | 継続的なイベント駆動型 | 発信者主導、非同期 |
| セッションソース | 発信者がスパンをインラインで提供する | ロググループを監視します | CloudWatch Logs からのサービス検出 |
| スコープ | 単一セッション | サンプリングルールに一致するすべてのセッション | 複数のセッション (時間範囲、セッション IDs、または完全なロググループ) |
| グラウンドトゥルース | 経由 `evaluationReferenceInputs` | サポートされていません | インライングラウンドトゥルース`sessionMetadata`を使用した 経由 |
| 結果 | 同期レスポンス | CloudWatch メトリクスとダッシュボード | CloudWatch で評価者ごとの平均とセッションごとの詳細を集計する |
| ユースケース | 開発時スポットチェック、CI/CD | 本番モニタリング | ベースライン測定、前後比較、回帰テスト |
**Topics**
+ [前提条件](batch-evaluations-prereqs.md)
+ [バッチ評価の開始方法](batch-evaluations-getting-started.md)
+ [バッチ評価を開始する](batch-evaluations-start.md)
+ [バッチ評価結果の取得](batch-evaluations-get.md)
+ [バッチ評価を一覧表示する](batch-evaluations-list.md)
+ [バッチ評価を停止する](batch-evaluations-stop.md)
+ [バッチ評価を削除する](batch-evaluations-delete.md)
+ [結果と出力について](batch-evaluations-results.md)
+ [バッチ評価の暗号化](batch-evaluations-encryption.md)