View a markdown version of this page

AgentCore インサイト: パターン分析でエージェントの障害をトリアージする - Amazon Bedrock AgentCore
インサイトのトリガー方法トリアージから最適化まで

AgentCore インサイト: パターン分析でエージェントの障害をトリアージする

注記

AgentCore インサイトはパブリックプレビュー中です。機能や APIs、一般提供前に変更される場合があります。

注記

ap-south-1 で AgentCore インサイトを使用する場合、サービスは Bedrock APAC クロスリージョン推論プロファイルを使用します。ap-northeast-2 で AgentCore インサイトを使用する場合、サービスは Bedrock グローバルクロスリージョン推論プロファイルを使用します。どちらの場合も、リクエストはプロファイル内の任意の送信先リージョンにルーティングできます。このルーティングは、それらのリージョンにオプトインしていない場合や、それらのリージョンで推論を明示的に拒否しているサービスコントロールポリシーがある場合でも発生する可能性があります。入力プロンプトと出力結果は、不正検出の目的でこれらの送信先リージョンに保存される場合があります。

Amazon Bedrock AgentCore インサイトは、エージェントセッションを分析して障害パターンを特定し、ユーザーのインテントを抽出し、実行動作を要約します。Insights は、スコアリングを超えるトリアージ分析を提供することで AgentCore 評価を拡張します。エージェントに障害が発生した理由と、ユーザーが何を達成しようとしているかを示します。

AgentCore Insights には 3 つの分析タイプがあります。

  • 障害分析: エージェントセッションの障害を特定し、詳細な分類 (ツールエラー、幻覚、誤った推論、反復動作など) を使用して分類し、根本原因を特定のスパンにさかのぼって追跡し、修正の推奨事項を提供します。

  • ユーザーインテントの抽出: ユーザーが各セッションで何を達成しようとしたかを抽出し、同様のインテントをクラスター化して、エージェントが処理する最も一般的なユースケースを示します。

  • 実行の概要: エージェントが取ったアプローチと各セッションの結果を要約し、同様の実行パターンをクラスター化して、エージェントが通常どのように問題を解決するかを示します。

セッションごとの分析後、サービスクラスターはセッション間で結果を生成し、定期的なパターンを表示します。障害分析では、障害カテゴリ → サブカテゴリ → 根本原因クラスターの 3 つのレベルの階層が生成されます。各階層には、影響を受けるセッション、説明、修復に関する推奨事項があります。

インサイトのトリガー方法

Insights 分析は、次の 2 つの方法でトリガーできます。

  • バッチ評価による 1 回: StartBatchEvaluationで を呼び出しinsightsて、セッションの時間範囲で分析を実行します。結果は を通じて返されますGetBatchEvaluation。

  • クラスタリングスケジュールによる繰り返し: オンライン評価設定ClusteringConfigで を 1 つ以上の頻度 (DAILY、WEEKLY、または ) で設定しますMONTHLY。サービスは、設定された頻度でバッチ評価ジョブを自動的にトリガーします。定期的なスケジュールでカスタムレポートを作成して、特定の日時に固定することもできます。

セッションごとのインサイト分析は、インサイトが CreateOnlineEvaluationConfig を介して設定されている場合に自動的に実行されますが、表面パターンが生成されるクラスター結果はバッチ評価ジョブ中にのみ生成されます。

トリアージから最適化まで

AgentCore インサイトは AgentCore 最適化と連携して、改善ループを閉じます。インサイトが障害パターンと根本原因を特定したら、それらの結果を Recommendations API にフィードして、トリアージされた問題に対処する改善されたシステムプロンプトを生成できます。これにより、診断出力が実用的な設定変更になります。

  1. トリアージ: インサイトを実行して、定期的な障害カテゴリと根本原因を特定します。

  2. レコメンデーションを生成する: 現在のシステムプロンプトStartRecommendationで を呼び出し、同じエージェントトレースをポイントします。このサービスは、変更内容の説明を含む推奨システムプロンプトを生成します。

  3. 検証: A/B テストを使用して、元の設定と推奨される設定をライブトラフィックと比較します。