View a markdown version of this page

Diagnostiquez les problèmes AgentCore d'évaluation avec un assistant de codage basé sur l'IA - Amazon Bedrock AgentCore

Diagnostiquez les problèmes AgentCore d'évaluation avec un assistant de codage basé sur l'IA

Si votre configuration AgentCore d'évaluation ne produit aucun résultat, ou si vous constatez des erreurs telles que des scores d'évaluation vides LogEventMissingExceptionAgentSpanMappingException, vous pouvez utiliser la compétence de diagnostic AgentCore d'évaluation pour résoudre le problème vous-même.

La compétence est un fichier Markdown qui fonctionne avec n'importe quel assistant de codage AI. Vous le chargez dans votre assistant, vous indiquez votre AWS région, votre type de déploiement et éventuellement un identifiant de session, et l'assistant vous explique étape par étape un diagnostic. La compétence fonctionne avec les agents déployés sur AgentCore Runtime et les agents hébergés sur une infrastructure tierce (Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement). L'assistant interroge vos propres groupes de CloudWatch journaux Amazon pour identifier la cause première et recommander une solution.

Ce que la compétence diagnostique

La compétence couvre les problèmes d'évaluation les plus courants :

  • Résultats d'évaluation vides : aucun score n'apparaît malgré l'activation de la configuration d'évaluation.

  • LogEventMissingException— l'évaluation indique qu'il manque à un intervalle l'événement journal correspondant.

  • AgentSpanMappingExceptionou ToolSpanMappingException: l'évaluation ne peut pas extraire la requête de l'utilisateur ou le résultat de l'outil d'un span.

  • SpanEventParsingException— l'évaluation ne peut pas analyser le corps d'un événement.

  • Gateway Timeout (504)— le délai d'évaluation expire.

  • ValidationExceptionactivé evaluatorId : le format de l'identifiant de l'évaluateur est incorrect.

  • Multi-agent problèmes de cadrage de l'évaluation : les évaluateurs ciblent le mauvais agent dans un traçage multi-agents.

Conditions préalables

  • AWS CLI configurée avec les informations d'identification du compte sur lequel l'agent s'exécute. Les informations d'identification nécessitent les autorisations suivantes :

    • logs:DescribeLogGroups,logs:DescribeLogStreams,logs:StartQuery, logs:GetQueryResults — pour interroger CloudWatch les journaux

    • bedrock-agentcore:GetOnlineEvaluationConfig, bedrock-agentcore:ListOnlineEvaluationConfigs — pour lire les configurations d'évaluation (évaluation en ligne uniquement)

  • Python 3.9 ou version ultérieure avec la boto3 bibliothèque est recommandé mais pas strictement obligatoire. Les requêtes de diagnostic peuvent également être exécutées directement via la AWS CLI.

  • Un assistant de codage basé sur l'IA compatible avec le standard Agent Skills ou capable d'accepter des instructions Markdown.

  • Un agent qui a été invoqué au moins une fois avec l'observabilité activée.

Copiez la compétence

La source de compétences est disponible dans la source de compétences de diagnostic. Copiez l'intégralité du bloc de code de cette rubrique et enregistrez-le SKILL.md dans un nouveau dossier nommé agentcore-eval-diagnostic/ sur votre ordinateur.

La compétence est un simple fichier de balisage. Il ne contient que des informations publiques et ne fonctionne que pour votre propre compte ; aucun accès côté service n'est requis.

Chargez la compétence dans votre assistant de codage AI

Enregistrez la source de compétences depuis la source de compétence Diagnostic dans un SKILL.md dossier nommé agentcore-eval-diagnostic/ sur votre machine, puis déplacez ou copiez ce dossier dans le répertoire des compétences de votre assistant de codage AI. La compétence suit le standard ouvert Agent Skills, de sorte que chaque outil la découvre à partir de son propre dossier de compétences dédié. N'ajoutez pas le contenu de la compétence à des fichiers d'instructions génériques tels que AGENTS.mdCLAUDE.md, ouGEMINI.md.

CLI Kiro

Placez le dossier de compétences .kiro/skills/agentcore-eval-diagnostic/ dans votre projet ou dans pour le ~/.kiro/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les espaces de travail. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI Kiro.

Claude Code

Placez le dossier de compétences .claude/skills/agentcore-eval-diagnostic/ dans votre projet ou dans ~/.claude/skills/agentcore-eval-diagnostic/ pour le rendre disponible dans tous les projets. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de Claude Code.

CLI OpenAI Codex

Placez le dossier de compétences .agents/skills/agentcore-eval-diagnostic/ dans votre référentiel ou dans pour le ~/.agents/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les référentiels. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI du Codex.

Curseur

Le curseur utilise des règles plutôt que des compétences. Enregistrez le contenu de la compétence en tant que règle de projet dans.cursor/rules/agentcore-eval-diagnostic.md. Pour plus de détails sur la configuration, consultez la documentation relative aux règles du curseur.

CLI Gemini

Placez le dossier de compétences dans pour le ~/.gemini/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les espaces de travail, ou dans le répertoire des compétences de votre projet pour une utilisation limitée au projet. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI Gemini.

Tout autre assistant AI

Si votre assistant est compatible avec le standard Agent Skills, placez le dossier de compétences dans le répertoire qu'il utilise pour découvrir les compétences. Si votre assistant ne prend pas en charge les compétences d'agent, chargez la compétence en collant le contenu de SKILL.md dans une invite système, un message utilisateur ou un fichier contextuel. La compétence est autonome et ne dépend d'aucune fonctionnalité spécifique à l'outil.

Exécuter un diagnostic

Après avoir chargé la compétence, lancez une nouvelle discussion avec votre assistant AI et fournissez :

  1. Votre AWS région (par exemple,us-west-2).

  2. Votre type de déploiement : agentcore-runtime si votre agent est déployé sur AgentCore Runtime ou 3p-managed s'il est hébergé sur Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement hors environnement. AgentCore

  3. Votre type d'évaluation — online (utilise une configuration d'évaluation avec échantillonnage) ou on-demand (appel direct à l'API Evaluate).

  4. Facultativement, un identifiant de session fourni par votre agent est tracé (l'session.idattribut). Si vous n'en avez pas, l'assistant peut découvrir automatiquement les sessions récentes à partir de vos groupes de journaux.

L'assistant interroge vos groupes de CloudWatch journaux, identifie la cause première de la panne et produit un rapport de diagnostic structuré. Le rapport inclut :

  • Un résumé de la cause première.

  • Tableau des résultats indiquant les tests de diagnostic réussis ou échoués.

  • Liste des périodes et des événements concernés.

  • Liens vers la AWS documentation pertinente.

  • Prochaines étapes recommandées.

L'assistant exécute toutes les requêtes de votre propre AWS compte par rapport à vos propres groupes de CloudWatch journaux. Il n'accède à aucun journal AWS côté service ni à aucune donnée interne.

Exemple d'interaction

Vous : Ma région est la us-west-2 suivante : j'utilise AgentCore Runtime avec une évaluation en ligne, et mon identifiant de session estmy-session-abc123. Mon évaluation ne donne aucun résultat. Peux-tu le diagnostiquer ?

Assistant IA :

## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.

Résolution des problèmes liés à la compétence elle-même

Si l'assistant ne parvient pas à interroger vos groupes de journaux, vérifiez que :

  • Vos AWS informations d'identification disposent des autorisations requises.

  • La région que vous avez indiquée correspond à celle où votre agent est déployé.

  • L'identifiant de session est correct (copiez-le à partir des traces de votre agent).

  • L'agent a été invoqué au cours des dernières 24 heures.

Rubriques