View a markdown version of this page

Funktionsweise - Amazon Grundgestein AgentCore
Was bekommst duWie funktioniert die AnalyseWenn er ausgeführt wirdFehlerkategorien

Funktionsweise

AgentCore Insights beantwortet drei Fragen zum Produktionsverhalten Ihres Agenten: Warum schlägt er fehl? Wonach fragen Benutzer? und wie löst es Probleme?

Was bekommst du

Wenn Sie Insights ausführen, erhalten Sie:

  • Eine priorisierte Liste von Fehlermustern — keine einzelnen Fehler, sondern wiederkehrende Probleme, gruppiert nach ihrer Ursache. Jedes Muster zeigt Ihnen, was schief läuft und warum. Insights ist in AgentCore Empfehlungsfunktionen integriert, um Lösungen für die Fehlermuster zu generieren.

  • Eine Übersicht der Benutzerabsichten — die häufigsten Dinge, die Ihre Benutzer zu erreichen versuchen, geordnet nach Häufigkeit.

  • Eine Zusammenfassung der Verhaltensmuster von Agenten — wie Ihr Agent Probleme typischerweise angeht und welche Ergebnisse er erzielt.

Diese entsprechen drei Arten von Erkenntnissen, die Sie konfigurieren können:

  • Builtin.Insight.FailureAnalysis— Erkennung von Fehlermustern und Ursachenanalyse

  • Builtin.Insight.UserIntent— Extraktion von Benutzerabsichten und Clustering

  • Builtin.Insight.ExecutionSummary— Zusammenfassung des Agentenverhaltens und Clustering

Wie funktioniert die Analyse

Insights untersucht die Sitzungsprotokolle Ihres Agenten — die vollständige Aufzeichnung von Benutzernachrichten, Argumenten, Toolaufrufen und Antworten — und liefert Ergebnisse auf zwei Ebenen:

Session-level Analyse

Jede Sitzung wird einzeln analysiert, um Folgendes festzustellen:

  • Ob der Agent bei der Ausführung auf Fehler gestoßen ist — einschließlich versteckter Fehler innerhalb von Traces, die für den Endbenutzer möglicherweise nicht sichtbar sind, selbst wenn die Sitzung erfolgreich zu sein scheint

  • Welche Fehlerkategorie ist aufgetreten (Werkzeugfehler, Halluzination, falsche Toolauswahl usw.)

  • Welcher spezifische Schritt bei der Ausführung des Agenten hat den Fehler verursacht

  • Was war die Hauptursache

  • Was der Benutzer erreichen wollte

  • Welchen Ansatz hat der Agent gewählt und was war das Endergebnis

Erkennung von Mustern

Nach der Analyse einzelner Sitzungen identifiziert der Service wiederkehrende Muster in allen Sitzungen, indem er ähnliche Ergebnisse gruppiert. Für die Fehleranalyse ergibt sich daraus eine dreistufige Hierarchie:

  1. Fehlerkategorien: Allgemeine Gruppierungen wie „Ausführungsfehler“, „Halluzinationen“ oder „falsche Aktionen“.

  2. Unterkategorien: Spezifischere Fehlertypen, wie „Ratenbegrenzung“ oder „Fehler im Werkzeugschema“.

  3. Ursachencluster: Innerhalb jeder Unterkategorie die spezifischen wiederkehrenden Grundursachen. Jeder Cluster sagt Ihnen:

    • Was ist die Hauptursache

    • Wie viele Sitzungen sind betroffen

    • Welche Sessions können Sie im Detail überprüfen

Für Benutzerabsichten und Zusammenfassungen der Ausführung erstellt der Service flache Cluster, die nach Häufigkeit geordnet sind.

Wenn er ausgeführt wird

Sie kontrollieren, wann Insights ausgeführt wird:

  • One-time: Rufen Sie StartBatchEvaluation uns an, um Einblicke zu erhalten, wann immer Sie eine Analyse wünschen — zum Beispiel nach einer Implementierung, nach einem Anstieg von Benutzerbeschwerden oder im Rahmen einer wöchentlichen Überprüfung.

  • Wiederkehrend: Wenn Sie eine Cluster-Frequenz (DAILYWEEKLY, oderMONTHLY) konfigurieren, wird der Service automatisch ausgeführt, sodass Sie ohne manuelles Eingreifen regelmäßig Berichte erhalten.

Fehlerkategorien

Insights kennt eine breite Taxonomie von Agentenausfalltypen:

Kategorie Beispiele

Ausführungsfehler

Authentifizierungsfehler, Ressource nicht gefunden, Dienstfehler, Ratenbegrenzung, Timeouts, Verstöße gegen das Toolschema

Probleme mit Aufgabenanweisungen

Non-compliance mit Anweisungen, Fehlern bei der Problemidentifikation

Falsche Aktionen

Falsche Toolauswahl, schlechter Informationsabruf, unangemessene Klarstellungsanfragen

Umgang mit dem Kontext

Fehler bei der kontextuellen Behandlung

Halluzinationen

Erfundene Funktionen, Missverständnisse, falsche Verwendung, historische Fertigung, Parameter-Halluzination, fabrizierte Werkzeugergebnisse

Wiederholtes Verhalten

Wiederholung von Werkzeuganrufen, Wiederholung von Informationsanfragen, Wiederholung von Schritten

Fehler bei der Orchestrierung

Diskrepanz bei der Argumentation, Zielabweichung, vorzeitige Kündigung, unbewusste Kündigung

Probleme mit der LLM-Ausgabe

Unsinnige Ausgaben

Die Konfiguration stimmt nicht überein

Die Tooldefinitionen stimmen nicht überein

Coding-specific

Versehen von Sonderfällen, Abhängigkeitsprobleme