Diagnostiquez les problèmes AgentCore d'évaluation avec un assistant de codage basé sur l'IA
Si votre configuration AgentCore d'évaluation ne produit aucun résultat, ou si vous constatez des erreurs telles que des scores d'évaluation vides LogEventMissingExceptionAgentSpanMappingException, vous pouvez utiliser la compétence de diagnostic AgentCore d'évaluation pour résoudre le problème vous-même.
La compétence est un fichier Markdown qui fonctionne avec n'importe quel assistant de codage AI. Vous le chargez dans votre assistant, vous indiquez votre AWS région, votre type de déploiement et éventuellement un identifiant de session, et l'assistant vous explique étape par étape un diagnostic. La compétence fonctionne avec les agents déployés sur AgentCore Runtime et les agents hébergés sur une infrastructure tierce (Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement). L'assistant interroge vos propres groupes de CloudWatch journaux Amazon pour identifier la cause première et recommander une solution.
Ce que la compétence diagnostique
La compétence couvre les problèmes d'évaluation les plus courants :
-
Résultats d'évaluation vides : aucun score n'apparaît malgré l'activation de la configuration d'évaluation.
-
LogEventMissingException— l'évaluation indique qu'il manque à un intervalle l'événement journal correspondant. -
AgentSpanMappingExceptionouToolSpanMappingException: l'évaluation ne peut pas extraire la requête de l'utilisateur ou le résultat de l'outil d'un span. -
SpanEventParsingException— l'évaluation ne peut pas analyser le corps d'un événement. -
Gateway Timeout (504)— le délai d'évaluation expire. -
ValidationExceptionactivéevaluatorId: le format de l'identifiant de l'évaluateur est incorrect. -
Multi-agent problèmes de cadrage de l'évaluation : les évaluateurs ciblent le mauvais agent dans un traçage multi-agents.
Conditions préalables
-
AWS CLI configurée avec les informations d'identification du compte sur lequel l'agent s'exécute. Les informations d'identification nécessitent les autorisations suivantes :
-
logs:DescribeLogGroups,logs:DescribeLogStreams,logs:StartQuery,logs:GetQueryResults— pour interroger CloudWatch les journaux -
bedrock-agentcore:GetOnlineEvaluationConfig,bedrock-agentcore:ListOnlineEvaluationConfigs— pour lire les configurations d'évaluation (évaluation en ligne uniquement)
-
-
Python 3.9 ou version ultérieure avec la
boto3bibliothèque est recommandé mais pas strictement obligatoire. Les requêtes de diagnostic peuvent également être exécutées directement via la AWS CLI. -
Un assistant de codage basé sur l'IA compatible avec le standard Agent Skills
ou capable d'accepter des instructions Markdown. -
Un agent qui a été invoqué au moins une fois avec l'observabilité activée.
Copiez la compétence
La source de compétences est disponible dans la source de compétences de diagnostic. Copiez l'intégralité du bloc de code de cette rubrique et enregistrez-le SKILL.md dans un nouveau dossier nommé agentcore-eval-diagnostic/ sur votre ordinateur.
La compétence est un simple fichier de balisage. Il ne contient que des informations publiques et ne fonctionne que pour votre propre compte ; aucun accès côté service n'est requis.
Chargez la compétence dans votre assistant de codage AI
Enregistrez la source de compétences depuis la source de compétence Diagnostic dans un SKILL.md dossier nommé agentcore-eval-diagnostic/ sur votre machine, puis déplacez ou copiez ce dossier dans le répertoire des compétences de votre assistant de codage AI. La compétence suit le standard ouvert Agent SkillsAGENTS.mdCLAUDE.md, ouGEMINI.md.
CLI Kiro
Placez le dossier de compétences .kiro/skills/agentcore-eval-diagnostic/ dans votre projet ou dans pour le ~/.kiro/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les espaces de travail. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI Kiro
Claude Code
Placez le dossier de compétences .claude/skills/agentcore-eval-diagnostic/ dans votre projet ou dans ~/.claude/skills/agentcore-eval-diagnostic/ pour le rendre disponible dans tous les projets. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de Claude Code
CLI OpenAI Codex
Placez le dossier de compétences .agents/skills/agentcore-eval-diagnostic/ dans votre référentiel ou dans pour le ~/.agents/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les référentiels. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI du Codex
Curseur
Le curseur utilise des règles plutôt que des compétences. Enregistrez le contenu de la compétence en tant que règle de projet dans.cursor/rules/agentcore-eval-diagnostic.md. Pour plus de détails sur la configuration, consultez la documentation relative aux règles du curseur
CLI Gemini
Placez le dossier de compétences dans pour le ~/.gemini/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les espaces de travail, ou dans le répertoire des compétences de votre projet pour une utilisation limitée au projet. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de la CLI Gemini
Tout autre assistant AI
Si votre assistant est compatible avec le standard Agent SkillsSKILL.md dans une invite système, un message utilisateur ou un fichier contextuel. La compétence est autonome et ne dépend d'aucune fonctionnalité spécifique à l'outil.
Exécuter un diagnostic
Après avoir chargé la compétence, lancez une nouvelle discussion avec votre assistant AI et fournissez :
-
Votre AWS région (par exemple,
us-west-2). -
Votre type de déploiement :
agentcore-runtimesi votre agent est déployé sur AgentCore Runtime ou3p-manageds'il est hébergé sur Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement hors environnement. AgentCore -
Votre type d'évaluation —
online(utilise une configuration d'évaluation avec échantillonnage) ouon-demand(appel direct à l'API Evaluate). -
Facultativement, un identifiant de session fourni par votre agent est tracé (l'
session.idattribut). Si vous n'en avez pas, l'assistant peut découvrir automatiquement les sessions récentes à partir de vos groupes de journaux.
L'assistant interroge vos groupes de CloudWatch journaux, identifie la cause première de la panne et produit un rapport de diagnostic structuré. Le rapport inclut :
-
Un résumé de la cause première.
-
Tableau des résultats indiquant les tests de diagnostic réussis ou échoués.
-
Liste des périodes et des événements concernés.
-
Liens vers la AWS documentation pertinente.
-
Prochaines étapes recommandées.
L'assistant exécute toutes les requêtes de votre propre AWS compte par rapport à vos propres groupes de CloudWatch journaux. Il n'accède à aucun journal AWS côté service ni à aucune donnée interne.
Exemple d'interaction
Vous : Ma région est la us-west-2 suivante : j'utilise AgentCore Runtime avec une évaluation en ligne, et mon identifiant de session estmy-session-abc123. Mon évaluation ne donne aucun résultat. Peux-tu le diagnostiquer ?
Assistant IA :
## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.
Résolution des problèmes liés à la compétence elle-même
Si l'assistant ne parvient pas à interroger vos groupes de journaux, vérifiez que :
-
Vos AWS informations d'identification disposent des autorisations requises.
-
La région que vous avez indiquée correspond à celle où votre agent est déployé.
-
L'identifiant de session est correct (copiez-le à partir des traces de votre agent).
-
L'agent a été invoqué au cours des dernières 24 heures.