View a markdown version of this page

AI コーディングアシスタントの AgentCore 評価問題を診断する - Amazon Bedrock AgentCore

AI コーディングアシスタントの AgentCore 評価問題を診断する

AgentCore 評価設定で結果が生成されない場合、または LogEventMissingException、、または空の評価スコアなどのエラーが表示されている場合はAgentSpanMappingExceptionAgentCore 評価診断スキルを使用して問題を自分でトラブルシューティングできます。

スキルは、AI コーディングアシスタントで動作するマークダウンファイルです。アシスタントにロードし、 AWS リージョン、デプロイタイプ、オプションでセッション ID を指定すると、アシスタントがstep-by-stepの診断を案内します。このスキルは、AgentCore ランタイムにデプロイされたエージェントと、サードパーティーインフラストラクチャ (Amazon ECS、Amazon EKS、 AWS Lambda、またはその他の環境) でホストされたエージェントと連携します。アシスタントは、独自の Amazon CloudWatch ロググループをクエリして根本原因を特定し、修正を推奨します。

スキルが診断するもの

このスキルは、最も一般的な評価の問題を対象としています。

  • 評価結果が空 — 評価設定が有効になっていてもスコアは表示されません。

  • LogEventMissingException — 評価では、スパンに対応するログイベントがないことが報告されます。

  • AgentSpanMappingException または ToolSpanMappingException — 評価では、スパンからユーザークエリまたはツール出力を抽出できません。

  • SpanEventParsingException — 評価ではイベントの本文を解析できません。

  • Gateway Timeout (504) — 評価がタイムアウトします。

  • ValidationException on evaluatorId — 評価者 ID 形式が正しくありません。

  • マルチエージェント評価スコープの問題 — 評価者はマルチエージェントトレースで間違ったエージェントをターゲットにします。

前提条件

  • AWS エージェントが実行されるアカウントの認証情報で設定された CLI。認証情報には、次のアクセス許可が必要です。

    • logs:DescribeLogGroupslogs:DescribeLogStreamslogs:StartQuerylogs:GetQueryResults — CloudWatch Logs をクエリする

    • bedrock-agentcore:GetOnlineEvaluationConfigbedrock-agentcore:ListOnlineEvaluationConfigs — 評価設定を読み取る (オンライン評価のみ)

  • boto3 ライブラリを使用する Python 3.9 以降が推奨されますが、厳密に必須ではありません。診断クエリは CLI AWS から直接実行することもできます。

  • エージェントスキル標準をサポートするか、マークダウン手順を受け入れることができる AI コーディングアシスタント。

  • オブザーバビリティを有効にして少なくとも 1 回呼び出されたエージェント。

スキルをコピーする

スキルソースは、診断スキルソースで使用できます。そのトピックからコードブロック全体をコピーし、マシンagentcore-eval-diagnostic/上の という名前の新しいフォルダSKILL.mdに として保存します。

スキルはプレーンマークダウンファイルです。これには公開情報のみが含まれ、独自のアカウントに対してのみ実行されます。サービス側のアクセスは必要ありません。

AI コーディングアシスタントにスキルをロードする

診断スキルソースからスキルソースをマシンagentcore-eval-diagnostic/の という名前のフォルダSKILL.md内に として保存し、そのフォルダを AI コーディングアシスタントのスキルディレクトリに移動またはコピーします。スキルはオープンエージェントスキル標準に従っているため、各ツールは独自の専用スキルフォルダからスキルを検出します。AGENTS.md、、 CLAUDE.mdなどの一般的な指示ファイルにスキルコンテンツを追加しないでくださいGEMINI.md

Kiro CLI

スキルフォルダをプロジェクト.kiro/skills/agentcore-eval-diagnostic/内の に配置するか、 ~/.kiro/skills/agentcore-eval-diagnostic/に配置して、すべてのワークスペースで使用できるようにします。セットアップの詳細については、Kiro CLI スキルドキュメントを参照してください。

Claude Code

スキルフォルダをプロジェクト.claude/skills/agentcore-eval-diagnostic/内の または ~/.claude/skills/agentcore-eval-diagnostic/ に配置して、すべてのプロジェクトで使用できるようにします。セットアップの詳細については、「Claude Code スキルドキュメント」を参照してください。

OpenAI Codex CLI

スキルフォルダをリポジトリ.agents/skills/agentcore-eval-diagnostic/の に配置するか、 ~/.agents/skills/agentcore-eval-diagnostic/に配置して、すべてのリポジトリで使用できるようにします。セットアップの詳細については、Codex CLI スキルのドキュメントを参照してください。

カーソル

カーソルはスキルの代わりにルールを使用します。スキルコンテンツをプロジェクトルールとして に保存します.cursor/rules/agentcore-eval-diagnostic.md。セットアップの詳細については、カーソルルールのドキュメントを参照してください。

Gemini CLI

スキルフォルダを に配置し~/.gemini/skills/agentcore-eval-diagnostic/て、すべてのワークスペースで使用可能にするか、プロジェクトスコープで使用するプロジェクトのスキルディレクトリに配置します。セットアップの詳細については、Gemini CLI スキルのドキュメントを参照してください。

その他の AI アシスタント

アシスタントがエージェントスキル標準をサポートしている場合は、アシスタントがスキルを検出するために使用するディレクトリにスキルフォルダを配置します。アシスタントがエージェントスキルをサポートしていない場合は、 の内容をSKILL.mdシステムプロンプト、ユーザーメッセージ、またはコンテキストファイルに貼り付けてスキルをロードします。スキルは自己完結型であり、ツール固有の機能には依存しません。

診断を実行する

スキルを読み込んだら、AI アシスタントと新しいチャットを開始し、以下を指定します。

  1. AWS リージョン ( などus-west-2)。

  2. デプロイタイプ — エージェントが AgentCore ランタイムにデプロイagentcore-runtimeされている場合、またはエージェントが Amazon ECS、Amazon EKS、 AWS Lambda、またはその他の非 AgentCore 環境でホスト3p-managedされている場合。

  3. 評価タイプ — online (サンプリングで評価設定を使用) または on-demand (直接評価 API コール)。

  4. 必要に応じて、エージェントのセッション ID がトレースします ( session.id 属性)。持っていない場合、アシスタントはロググループから最近のセッションを自動検出できます。

アシスタントは CloudWatch ロググループにクエリを実行し、障害の根本原因を特定し、構造化された診断レポートを生成します。レポートには以下が含まれます。

  • 根本原因の概要。

  • 合格または不合格の診断チェックを示す検出結果テーブル。

  • 影響を受けるスパンとイベントのリスト。

  • 関連する AWS ドキュメントへのリンク。

  • 推奨される次のステップ。

アシスタントは、独自の CloudWatch ロググループに対して、独自の AWS アカウントのすべてのクエリを実行します。 AWS サービス側のログや内部データにはアクセスしません。

インタラクションの例

お客様: 私のリージョンは でus-west-2、オンライン評価で AgentCore ランタイムを使用しています。セッション ID は ですmy-session-abc123。評価では結果が生成されません。診断できますか?

AI アシスタント:

## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.

スキル自体のトラブルシューティング

アシスタントがロググループをクエリできない場合は、以下を確認します。

  • AWS 認証情報には必要なアクセス許可があります。

  • 指定したリージョンは、エージェントがデプロイされているリージョンと一致します。

  • セッション ID が正しい (エージェントトレースからコピーする)。

  • エージェントは過去 24 時間以内に呼び出されました。

トピック