Diagnostizieren Sie AgentCore Bewertungsprobleme mit einem KI-Codierungsassistenten
Wenn Ihre AgentCore Evaluierungskonfiguration keine Ergebnisse liefert — oder wenn Sie Fehler wie LogEventMissingExceptionAgentSpanMappingException, oder leere Bewertungsergebnisse sehen — können Sie das Problem mithilfe des Diagnose-Skills AgentCore „Evaluierung“ selbst beheben.
Bei dem Skill handelt es sich um eine Markdown-Datei, die mit jedem KI-Codierungsassistenten funktioniert. Sie laden ihn in Ihren Assistenten, geben Ihre AWS Region, den Bereitstellungstyp und optional eine Sitzungs-ID an, und der Assistent führt Sie Schritt für Schritt durch eine Diagnose. Der Skill funktioniert mit Agenten, die auf AgentCore Runtime bereitgestellt werden, und mit Agenten, die auf der Infrastruktur eines Drittanbieters (Amazon ECS, Amazon EKS, AWS Lambda oder einer anderen Umgebung) gehostet werden. Der Assistent fragt Ihre eigenen CloudWatch Amazon-Protokollgruppen ab, um die Ursache zu ermitteln und eine Lösung zu empfehlen.
Was der Skill diagnostiziert
Der Skill deckt die häufigsten Bewertungsprobleme ab:
-
Leere Bewertungsergebnisse — es werden keine Ergebnisse angezeigt, obwohl die Bewertungskonfiguration aktiviert ist.
-
LogEventMissingException— Die Auswertung meldet, dass für eine Spanne das entsprechende Protokollereignis fehlt. -
AgentSpanMappingExceptionoderToolSpanMappingException— Die Auswertung kann die Benutzerabfrage oder die Toolausgabe nicht aus einem Bereich extrahieren. -
SpanEventParsingException— Die Auswertung kann den Hauptteil eines Ereignisses nicht analysieren. -
Gateway Timeout (504)— Die Auswertung hat eine Zeitüberschreitung. -
ValidationExceptiononevaluatorId— das Format der Evaluator-ID ist falsch. -
Multi-agent Probleme mit dem Umfang der Bewertung — Evaluatoren zielen in einem Multi-Agent-Trace auf den falschen Agenten ab.
Voraussetzungen
-
AWS CLI, konfiguriert mit Anmeldeinformationen für das Konto, auf dem der Agent ausgeführt wird. Für die Anmeldeinformationen sind die folgenden Berechtigungen erforderlich:
-
logs:DescribeLogGroups,logs:DescribeLogStreams,logs:StartQuery,logs:GetQueryResults— um CloudWatch Logs abzufragen -
bedrock-agentcore:GetOnlineEvaluationConfig,bedrock-agentcore:ListOnlineEvaluationConfigs— um Testkonfigurationen zu lesen (nur Online-Evaluierung)
-
-
Python 3.9 oder höher mit der
boto3Bibliothek wird empfohlen, ist aber nicht unbedingt erforderlich — die Diagnoseabfragen können auch direkt über die AWS CLI ausgeführt werden. -
Ein KI-Programmierassistent, der den Agent Skills-Standard
unterstützt oder Markdown-Anweisungen akzeptiert. -
Ein Agent, der mindestens einmal mit aktivierter Observability aufgerufen wurde.
Kopieren Sie den Skill
Die Skillquelle ist unter Diagnostic Skill Source verfügbar. Kopieren Sie den gesamten Codeblock aus diesem Thema und speichern Sie ihn SKILL.md in einem neuen Ordner mit dem Namen agentcore-eval-diagnostic/ auf Ihrem Computer.
Der Skill ist eine einfache Markdown-Datei. Sie enthält nur öffentliche Informationen und läuft nur für Ihr eigenes Konto — es ist kein dienstseitiger Zugriff erforderlich.
Lade den Skill in deinen KI-Programmierassistenten
Speichern Sie die Skillquelle aus der Diagnostic Skill Source SKILL.md in einem Ordner mit dem Namen agentcore-eval-diagnostic/ auf Ihrem Computer und verschieben oder kopieren Sie diesen Ordner dann in das Skills-Verzeichnis für Ihren KI-Codierungsassistenten. Der Skill folgt dem Open Agent Skills-StandardAGENTS.md,CLAUDE.md, oder an. GEMINI.md
Kiro CLI
Platzieren Sie den Skill-Ordner unter .kiro/skills/agentcore-eval-diagnostic/ in Ihrem Projekt oder unter, ~/.kiro/skills/agentcore-eval-diagnostic/ um ihn in allen Workspaces verfügbar zu machen. Einzelheiten zur Einrichtung finden Sie in der Dokumentation zu den Kiro CLI Skills
Claude Code
Platzieren Sie den Skill-Ordner unter .claude/skills/agentcore-eval-diagnostic/ in Ihrem Projekt oder unter, ~/.claude/skills/agentcore-eval-diagnostic/ um ihn für alle Projekte verfügbar zu machen. Einzelheiten zur Einrichtung finden Sie in der Dokumentation zu den Fähigkeiten von Claude Code
OpenAI Codex CLI
Platzieren Sie den Skill-Ordner .agents/skills/agentcore-eval-diagnostic/ in Ihrem Repository oder unter, ~/.agents/skills/agentcore-eval-diagnostic/ um ihn in allen Repositorys verfügbar zu machen. Einzelheiten zur Einrichtung finden Sie in der Codex CLI Skills-Dokumentation
Cursor
Der Cursor verwendet Regeln anstelle von Fähigkeiten. Speichern Sie den Inhalt der Fertigkeit als Projektregel in.cursor/rules/agentcore-eval-diagnostic.md. Einzelheiten zur Einrichtung finden Sie in der Dokumentation zu den Cursorregeln
Gemini CLI
Platzieren Sie den Skills-Ordner unter~/.gemini/skills/agentcore-eval-diagnostic/, um ihn in allen Workspaces verfügbar zu machen, oder im Skills-Verzeichnis Ihres Projekts, um ihn projektbezogen zu verwenden. Einzelheiten zur Einrichtung finden Sie in der Dokumentation zu den Fähigkeiten von Gemini CLI
Irgendein anderer KI-Assistent
Wenn Ihr Assistent den Standard Agent SkillsSKILL.md in eine Systemaufforderung, eine Benutzernachricht oder eine Kontextdatei einfügen. Der Skill ist eigenständig und hängt nicht von toolspezifischen Funktionen ab.
Führen Sie eine Diagnose durch
Starten Sie nach dem Laden des Skills einen neuen Chat mit Ihrem KI-Assistenten und geben Sie Folgendes an:
-
Deine AWS Region (zum Beispiel
us-west-2). -
Ihr Bereitstellungstyp —
agentcore-runtimeob Ihr Agent auf AgentCore Runtime bereitgestellt wird oder3p-managedwenn Ihr Agent auf Amazon ECS, Amazon EKS, AWS Lambda oder einer anderen AgentCore Umgebung gehostet wird. -
Ihr Evaluierungstyp —
online(verwendet eine Evaluierungskonfiguration mit Sampling) oderon-demand(direkter Evaluate-API-Aufruf). -
Optional eine Sitzungs-ID aus Ihren Agent-Traces (das
session.idAttribut). Wenn Sie noch keine haben, kann der Assistent die letzten Sitzungen automatisch aus Ihren Protokollgruppen ermitteln.
Der Assistent fragt Ihre CloudWatch Protokollgruppen ab, identifiziert die Hauptursache des Fehlers und erstellt einen strukturierten Diagnosebericht. Der Bericht umfasst:
-
Eine Zusammenfassung der Grundursache.
-
Eine Tabelle mit Ergebnissen, aus der hervorgeht, welche Diagnoseprüfungen bestanden oder fehlgeschlagen sind.
-
Eine Liste der betroffenen Bereiche und Ereignisse.
-
Links zu relevanter AWS Dokumentation.
-
Empfohlene nächste Schritte.
Der Assistent führt alle Abfragen in Ihrem eigenen AWS Konto anhand Ihrer eigenen CloudWatch Protokollgruppen durch. Er greift nicht auf AWS dienstseitige Protokolle oder interne Daten zu.
Beispiel für eine Interaktion
Sie: Meine Region istus-west-2, ich verwende AgentCore Runtime mit Online-Evaluierung, und meine Sitzungs-ID istmy-session-abc123. Meine Bewertung führt zu keinen Ergebnissen. Können Sie es diagnostizieren?
KI-Assistent:
## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.
Fehlerbehebung beim Skill selbst
Wenn der Assistent Ihre Protokollgruppen nicht abfragen kann, überprüfen Sie Folgendes:
-
Ihre AWS Anmeldeinformationen verfügen über die erforderlichen Berechtigungen.
-
Die von Ihnen angegebene Region entspricht dem Ort, an dem Ihr Agent eingesetzt wird.
-
Die Sitzungs-ID ist korrekt (kopieren Sie sie aus Ihren Agenten-Traces).
-
Der Agent wurde innerhalb der letzten 24 Stunden aufgerufen.