# エージェントビュー
*[エージェントビュー]* には、アカウントのエージェント用に厳選されたダッシュボードが表示されます。AgentCore ランタイム、Lambda、Amazon EC2 などの AWS ネイティブサービスでホストされているエージェントのデータを表示できます。ビューには、CloudWatch にテレメトリを出力するエージェントも表示されます。
**概要**:
メトリクスとダッシュボードには、サンプリングされたエージェントスパンのデータが表示されます。エージェントスパンの詳細については、「[Spans](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-telemetry.html#agent_spans)」を参照してください。
以下のエージェントメトリクスがサポートされています。
+ エージェント/エンドポイント – 計測され、スパンを出力するエージェントとエイリアスの数
+ セッション – スパンを出力する計測されたエージェントが作成したセッションの数。セッションは会話に似ており、幅広いコンテキストが含まれています
+ トレース – スパンを出力する計測されたエージェントが作成したトレースの数。トレースは、セッション内の個々のリクエスト/レスポンスサイクルです
+ エラー率 – エージェントインタラクションのエラーの割合
+ スロットリングレート – スロットリングされたエージェントのインタラクションの割合
**[詳細を表示]** を選択して、エージェントメトリクスをグラフで表示します。
![\[エージェントビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_AgentCoreGraphs.png)
**ランタイムメトリクス**
ランタイムメトリクスとダッシュボードには、ランタイムプリミティブのデータが表示されます。このプリミティブを使用すると、Amazon Bedrock AgentCore ランタイムでエージェントをホストできます。詳細については、「[Creating an AgentCore Runtime](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/agents-runtime-create.html)」を参照してください。
AgentCore ランタイムはこれらのメトリクスをサポートします
+ ランタイムエージェント/エイリアス – AgentCore ランタイムでホストされているエージェントとエイリアスの数を追跡します
+ ランタイムセッション – AgentCore ランタイムで実行されているエージェントが作成したセッションの数を追跡します。セッションは会話に似ており、インタラクションフロー全体の広範なコンテキストが含まれています。プラットフォームの全体的な使用状況のモニタリング、キャパシティプランニング、ユーザーエンゲージメントパターンの理解に役立ちます
+ ランタイム呼び出し – データプレーン API に対して行われたリクエストの合計数。リクエストペイロードサイズやレスポンスステータスに関係なく、各 API コールは 1 回の呼び出しとしてカウントされます
+ ランタイムエラー – システムエラーとユーザーエラーの数。システムおよびユーザーのエラー定義については、「[AgentCore provided runtime metrics](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html)」を参照してください
+ ランタイムスロットリング – 許可された TPS (1 秒あたりのトランザクション) を超えたためにサービスによってスロットリングされたリクエストの数。これらのリクエストは、HTTP ステータスコード 429 の ThrottlingException を返します。このメトリクスをモニタリングして、サービスクォータの確認やリクエストパターンの最適化が必要かどうかを判断します
デフォルトのダッシュボードで、時間の経過に伴うメトリクスの変化を表示します。**[詳細を表示]** を展開してメトリクスグラフを表示します。
![\[ランタイムビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_Runtime.png)
**[エージェント]**
エージェントは、アプリケーションからモニタリングデータを収集して送信するコンポーネントです。エージェントテーブルには、アカウントで設定されたすべてのエージェントが表示されます。これらのエージェントは、AgentCore ランタイム、Lambda、Amazon EC2 などの AWS ネイティブサービスでホストできます。このテーブルには、テレメトリを CloudWatch に出力するように計測された他のエージェントも表示されます。
**[エージェントをフィルタリング]** を使用して、深く掘り下げたい特定のエージェントを見つけたり、列名を使用してエージェントをソートし必要なエージェントを見つけることもできます。歯車アイコンを選択して、追加の列を表示または非表示にします。
![\[ランタイムエージェントビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_agents.png)
エージェント名を展開することで、エージェントの詳細を表示できます。
![\[ランタイムエージェントの概要\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_agentsdetails_new.png)
**エージェントの詳細 - 概要**
[概要] タブには、エージェントメトリクスの自動ダッシュボードが表示されます。これらのメトリクスは、サンプリングされたスパンとランタイムメトリクス (エージェントが AgentCore ランタイムを使用する場合) から取得されます。
**[評価者]** ダッシュボードには、評価が有効になっているスパンから導出されたインサイトが含まれます。
+ 差分が上位のエバリュエータースコア — 選択した期間に基づいて、最後の期間以降に最も変化があったエージェントエバリュエーターを表示します。
+ 評価設定メトリクス — 評価が実行された回数や発生したエラーの数など、エージェントエバリュエーターの運用ステータスメトリクスを表示します。
Amazon Bedrock AgentCore コンソールを使用して評価設定を編集するには、**[評価者]** または **[評価設定]** 列のリンクをクリックします。エバリュエーターの結果を確認するには、**[平均スコア]** 列のスコアをクリックします。エージェントのすべての評価を表示するには、**[評価]** タブを選択します。詳細については、「[エージェントの詳細 - 評価](session-traces-evaluations.md)」を参照してください。
**[エージェントのメトリクス]** ダッシュボードには、サンプリングされたスパンから派生した以下のメトリクスが含まれています。
+ セッションとトレース — このエージェントのセッションとトレースの数
+ FM トークンの使用 – 基礎モデルトークン消費の合計数。チャートを特定の基礎モデルにフィルタリングできます
+ システムエラーとクライアントエラー – リクエスト処理中のシステムエラーの数。サーバー側のエラーレベルが高い場合は、調査が必要な潜在的なインフラストラクチャまたはサービスの問題がある可能性があります。クライアントエラーは、無効なリクエストに起因するエラーです。クライアント側のエラーレベルが高い場合は、リクエストのフォーマットやアクセス許可に問題がある可能性があります
+ スパン別のエラーとレイテンシー – 特定のスパン別のエラー率とレイテンシー。スパンは多くのエージェントに表示される可能性があることに注意してください
+ スロットリング – 許可された TPS (1 秒あたりのトランザクション数) を超えたためにサービスによってスロットリングされたリクエストの数
+ インバウンド Auth:Authorization およびアクセストークン呼び出し – エージェントによって処理された受信認証リクエストの数。外部クライアントまたはサービスからの認可チェックやアクセストークン検証を含みます。
+ アウトバウンド Auth:Usage 分散 – エージェントが使用するアウトバウンド認証方法の分散パターン。外部サービスにアクセスするときに使用される認証メカニズムの頻度とタイプを示します。
**[ランタイムメトリクス]** ダッシュボードには、AgentCore ランタイムが自動的に生成する以下のメトリクスが含まれています。
+ ランタイムセッションと呼び出し – ランタイムでのホスト中にこの特定のエージェントが生成したセッションと呼び出しの数
+ ランタイムレイテンシー – ランタイムでホストされるエージェントによるリクエストのレイテンシー
+ ランタイムスロットリング – 許可された TPS (1 秒あたりのトランザクション数) を超えたためにサービスによってスロットリングされたリクエストの数
# エージェントの詳細 - セッション
エージェントは複数のセッションを持つことができます。*[セッション]* タブでセッションを表示します。**[セッションをフィルタリング]** を使用するか、列をソートして必要なセッションを見つけます。
**[セッション ID]** を選択すると、セッション概要メトリクスとそのセッションに属するトレースのリストが表示されます。セッションメトリクスには以下が含まれます。
+ トレース – セッションに属するトレースの数
+ サーバーエラー – リクエスト処理中のシステムエラーの数。サーバー側のエラーレベルが高い場合は、調査が必要な潜在的なインフラストラクチャまたはサービスの問題がある可能性があります
+ クライアントエラー – クライアントエラーは、無効なリクエストに起因するエラーです。クライアント側のエラーレベルが高い場合は、リクエストのフォーマットやアクセス許可に問題がある可能性があります
+ スロットリング – 許可された TPS (1 秒あたりのトランザクション数) を超えたためにスロットリングされたこのセッションに関連するリクエストの数
+ セッションの詳細 – 開始時刻、終了時刻、セッション ID などのセッションに関するメタデータ
セッション内のトレースのリストを分析するには、**[トレースをフィルタリング]** を選択してテーブル列を絞り込むかソートし、調査する特定のトレースをバブルアップします。
トレースを選択すると、右ペインにトレースの詳細が表示されます。トレースごとに、トレースの概要、スパン、トレースコンテンツの詳細を確認できます。
**[トレース概要]** では、以下のメトリクスを表示できます。
**注記**
概要ページフィールドは、**[エージェントビュー]**、**[セッションビュー]**、**[トレースビュー]** 間で一貫しています。
+ スパン – トレース内のスパンの数
+ サーバーエラー – リクエスト処理中のシステムエラーの数。サーバー側のエラーレベルが高い場合は、調査が必要な潜在的なインフラストラクチャまたはサービスの問題がある可能性があります
+ クライアントエラー – クライアントエラーは、無効なリクエストに起因するエラーです。クライアント側のエラーレベルが高い場合は、リクエストのフォーマットやアクセス許可に問題がある可能性があります
+ スロットリング – 許可された TPS (1 秒あたりのトランザクション数) を超えたためにスロットリングされたこのセッションに関連するリクエストの数
+ P95 スパンレイテンシー – この特定のスパンのすべての呼び出しにおける 95 パーセンタイルレイテンシー。スパンは多くのエージェントで使用できることに注意してください
+ トレースの詳細 – 開始時刻、終了時刻、トレース ID などのトレースに関するメタデータ
![\[スパンビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_span.png)
**[タイムライン]** を選択すると、各スパンの期間が表示され、最も時間がかかり、応答の遅延に影響したスパンがわかります。
![\[軌跡ビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/GenAI_agenttrajectory.png)
スパン関係と後続の呼び出しを分析するには、**[軌跡]** を選択して、スパンとこれらのスパンからの後続の呼び出しの相互接続された関係を理解します。
**[スパン]** で、個々のスパンイベントを選択して、スパンデータを元の形式で確認します。スパンデータを元の形式で確認します。詳細なトラブルシューティングを行うには、**[イベント]** タブを選択してモデルの入力と出力を調べます。
# エージェントの詳細 - トレース
各エージェントには複数のトレースがある場合があります。**[トレース]** タブでトレースの詳細を表示します。**[トレースをフィルタリング]** を選択するか、列をソートして必要なトレースを見つけます。
![\[トレースの概要ビュー\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/Trace-summary.png)
# エージェントの詳細 - 評価
評価は、AI エージェントの継続的な品質モニタリングメトリクスを提供します。ダッシュボードから提供された情報を使用して、AI エージェントのパフォーマンス、品質、信頼性を評価できます。
評価は、シミュレートされたテストケースに依存するのではなく、実際のユーザーセッションとエージェントのやり取りをキャプチャするため、入力から最終出力まで、エージェントのパフォーマンスを包括的に把握できます。エージェント評価では、サンプリングルールを定義してセッションまたはトレースの割合のみを評価し、さまざまなエバリュエーターを適用して AI エージェントの動作パフォーマンスを評価およびスコアリングできます。結果の評価とスコアが [評価] ダッシュボードに表示されるため、傾向のモニタリング、潜在的な品質問題の特定、アラームの設定、潜在的な問題の調査と診断ができます。
[評価] ダッシュボードには、選択したエージェントに対して有効および設定されたすべての評価が一覧表示されます。エージェントの評価の設定の詳細については、「[AgentCore の評価](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html)」を参照してください。各評価を展開して、評価されたセッション、トレース、スパンを表示できます。
![\[評価\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_overview.png)
**Topics**
+ [評価の詳細](#session-traces-evaluations-details)
+ [評価グラフ](#session-traces-evaluations-graphs)
+ [評価結果の操作](#session-traces-evaluations-raw-results)
## 評価の詳細
各評価について、ダッシュボードには以下のセクションが含まれます。
------
#### [ Evaluation configuration metrics ]
評価設定全体のメトリクスを提供します。エバリュエーターは、AI エージェントのパフォーマンスの特定の側面を評価する方法を定義します。エバリュエーターの詳細を表示するには、**[評価者]** 列でその名前を選択します。棒グラフを表示してエバリュエーターの傾向を分析するには、**[カウント]** 列の値を選択します。
![\[評価設定メトリクス\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_01.png)
------
#### [ Session evaluations ]
セッションレベルでエバリュエーターの評価結果を提供します。セッションは、単一のユーザーまたはワークフローからの関連するやり取りの論理的なグループ化を表します。セッションには 1 つまたは複数のトレースが含まれる可能性があります。**[トレース評価]** セクションで、そのセッション内のトレースのリストにフィルタリングして入れるセッションを選択できます。
![\[セッション評価\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_02.png)
------
#### [ Trace evaluations ]
トレースレベルでエバリュエーターの評価結果を提供します。トレースは、単一のエージェント実行またはリクエストの完全なレコードです。トレースには 1 つまたは複数のスパンが含まれる可能性があります。トレースを選択すると、トレースの詳細とそのトレースで実行されたすべてのエバリュエーターが表示されます。
![\[トレース評価\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_03.png)
------
#### [ Span evaluations ]
スパンレベルでエバリュエーターの評価結果を提供します。スパンは、その実行中に実行された個々のオペレーションを表します。スパンを選択すると、スパンの詳細と、そのスパン中に実行されたすべてのオペレーションが表示されます。
![\[スパン評価\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_04.png)
------
## 評価グラフ
[評価] ダッシュボードには、各エバリュエーターの棒グラフも含まれています。グラフには、各エバリュエーターの経時的な傾向が表示され、特定のメトリクス値のアラームを設定できます。アラームを設定するには、グラフのバーをクリックし、**[アラーム]** (ベル) アイコンを選択します。詳細については、「[Amazon CloudWatch でのアラームの使用](CloudWatch_Alarms.md)」を参照してください。
![\[評価グラフ\]](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/evals_graphs.png)
## 評価結果の操作
評価結果データに直接アクセスする必要がある場合、または視覚化をカスタマイズしたり AgentCore Evaluations コンソール外で作業したりする場合は、CloudWatch Logs、CloudWatch Metrics、CloudWatch ダッシュボードから直接評価結果にアクセスできます。
**Topics**
+ [CloudWatch Logs での評価結果へのアクセス](#accessing-evaluation-results-logs)
+ [CloudWatch Metrics での評価メトリクスへのアクセス](#accessing-evaluation-metrics)
+ [カスタムダッシュボードの作成](#creating-custom-dashboards)
+ [評価メトリクスにアラームを設定する](#setting-alarms-evaluation-metrics)
+ [その他のリソース](#additional-resources)
### CloudWatch Logs での評価結果へのアクセス
評価結果は、埋め込みメトリクス形式 (EMF) の CloudWatch Logs に自動的に発行されます。
**評価結果ロググループを検索するには**
1. CloudWatch コンソールを開きます。
1. ナビゲーションペインで、**[ログ管理]** > **[ロググループ]** の順に選択します。
1. プレフィックスが `/aws/bedrock-agentcore/evaluations/` のロググループを検索するか、そこに移動します。
1. このロググループ内では、ログイベントには評価結果が含まれます。
ロググループの使用とログデータのクエリの詳細については、「[ロググループとログストリームの使用](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html)」および「[CloudWatch Logs Insights を使用したログデータの分析](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)」を参照してください。
### CloudWatch Metrics での評価メトリクスへのアクセス
評価結果メトリクスは、埋め込みメトリクス形式 (EMF) ログから自動的に抽出され、CloudWatch メトリクスに発行されます。
**評価メトリクスを検索するには**
1. CloudWatch コンソールを開きます。
1. ナビゲーションペインで、**[メトリクス]** > **[すべてのメトリクス]** の順に選択します。
1. **Bedrock AgentCore/Evaluations** 名前空間を選択します。
1. 利用可能なメトリクスをディメンション別に参照します。
メトリクスの表示と操作の詳細については、「[CloudWatch メトリクスの使用](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html)」と「[メトリクスのグラフ化](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/graph_metrics.html)」を参照してください。
### カスタムダッシュボードの作成
カスタムダッシュボードを作成して、評価メトリクスを他の運用メトリクスとともに可視化できます。
**評価メトリクスを使用してダッシュボードを作成するには**
1. CloudWatch コンソールで、ナビゲーションペインの **[ダッシュボード]** を選択します。
1. **[ダッシュボードを作成]** を選択します。
1. **Bedrock AgentCore/Evaluations** 名前空間からウィジェットを追加し、メトリクスを選択します。
1. ニーズに合わせて時間範囲、統計、視覚化タイプをカスタマイズします。
詳細な手順については、「[カスタムダッシュボードの作成と操作](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/create_dashboard.html)」および「[CloudWatch ダッシュボードの使用](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html)」を参照してください。
### 評価メトリクスにアラームを設定する
正確性が許容レベルを下回った場合など、指定したしきい値を評価メトリクスが超えたときに通知するようにアラームを設定できます。
**評価メトリクスでアラームを作成するには**
1. CloudWatch コンソールで、**[アラーム]** > **[すべてのアラーム]** の順に選択します。
1. [**アラームの作成**] を選択します。
1. **[メトリクスを選択]** を選択し、**Bedrock AgentCore/Evaluations** 名前空間に移動します。
1. モニタリングするメトリクスを選択します。
1. しきい値条件 (静的数値のしきい値を指定する必要がない動的異常検出しきい値を使用可能) と通知アクションを設定します。
詳細な手順については、「[CloudWatch アラームの使用](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html)」および「[静的しきい値に基づく CloudWatch アラームの作成](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/ConsoleAlarms.html)」を参照してください。
### その他のリソース
+ [CloudWatch 埋め込みメトリクス形式](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CloudWatch-Logs-Monitoring-CloudWatch-Metrics.html)
+ [CloudWatch Logs Insights のクエリ構文](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html)
+ [複合アラームの作成](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Create_Composite_Alarm.html)