Amazon CloudWatch Coding Agent Insights を使用して AI コーディングエージェントをモニタリングする

OpenAI Codex、Claude Code、GitHub Copilot などの AI コーディングエージェントは、トークンの消費、ターンごとのレイテンシー、ツール呼び出し、API リクエスト、承認など、開発者がそれらをどのように使用するかについての OpenTelemetry (OTel) テレメトリを出力します。このテレメトリを Amazon CloudWatch に送信すると、導入状況をモニタリングし、使用状況とコストをチームや部門に帰属させ、開発者フリート全体のパフォーマンスや信頼性の問題を特定することができます。

CloudWatch では Coding Agent Insights を提供しています。これはすぐに使える一連のダッシュボードのセットで、コンソールの GenAI Observability 内の Coding Agent Insights にあります。これらのダッシュボードを使用すると、組織、部門、チーム、コストセンター、ユーザーなどの組織属性ごとに使用状況を細かく分析できるため、フリート全体で導入状況とコストを比較できます。基盤となるデータを CSV としてエクスポートして、さらに詳しく分析することもできます。これらのダッシュボードについては作成もインポートも不要です。エージェントが想定された形式でメトリクスを送信すると、すぐに自動で表示され、データが入力されます。唯一の作業は、OTel メトリクスを CloudWatch に発行するように各エージェントを設定することです。

前提条件

コーディングエージェントが、CloudWatch ネイティブ OTLP メトリクスエンドポイントにメトリクスを送信する。エージェントを設定する前に、エンドポイントについて理解しておく必要があります。詳細については、「OTLP エンドポイント」および「開始方法」を参照してください。

セットアップガイド

コーディングエージェントのガイドを選択します。各ガイドでは 1 つ以上のセットアップパスについて説明されているため、開発者によるエージェントの実行方法に合わせてアプローチを選択できます。

ダッシュボードの表示

エージェントがメトリクスの送信を開始したら、コンソールでダッシュボードを表示します。