View a markdown version of this page

AgentCore Einblicke: Triage Agentenausfälle mit Musteranalyse - Amazon Grundgestein AgentCore
Wie Erkenntnisse gewonnen werdenVon der Triage bis zur Optimierung

AgentCore Einblicke: Triage Agentenausfälle mit Musteranalyse

Anmerkung

AgentCore Insights befindet sich in der öffentlichen Vorschauversion. Funktionen und APIs können sich vor der allgemeinen Verfügbarkeit ändern.

Anmerkung

Bei der Verwendung von AgentCore Insights in ap-south-1 verwendet der Dienst regionsübergreifende Bedrock APAC-Inferenzprofile. Bei der Verwendung von AgentCore Insights in ap-northeast-2 verwendet der Service globale regionsübergreifende Inferenzprofile von Bedrock. In beiden Fällen kann Ihre Anfrage an eine der Zielregionen im Profil weitergeleitet werden. Dieses Routing kann auch dann erfolgen, wenn Sie sich nicht für diese Regionen entschieden haben oder wenn Sie über Service Control-Richtlinien verfügen, die Inferenz in diesen Regionen ausdrücklich ablehnen. Eingabeaufforderungen und Ausgabeergebnisse können zur Missbrauchserkennung in diesen Zielregionen gespeichert werden.

Amazon Bedrock AgentCore Insights analysiert Ihre Agentensitzungen, um Fehlermuster zu identifizieren, Benutzerabsichten zu extrahieren und das Ausführungsverhalten zusammenzufassen. Insights erweitert AgentCore Evaluationen um eine Triage-Analyse, die über die Bewertung hinausgeht — sie zeigt Ihnen, warum Ihr Agent versagt und was Ihre Benutzer zu erreichen versuchen.

AgentCore Insights bietet drei Analysetypen:

  • Fehleranalyse: Identifiziert Fehler in Agentensitzungen, kategorisiert sie anhand einer detaillierten Taxonomie (Toolfehler, Halluzinationen, falsche Argumentation, sich wiederholendes Verhalten usw.), verfolgt die Hauptursachen auf bestimmte Zeiträume zurück und gibt Empfehlungen zur Behebung.

  • Extraktion von Benutzerabsichten: Extrahiert, was Benutzer in jeder Sitzung zu erreichen versucht haben, und gruppiert dann ähnliche Absichten, um Ihnen die häufigsten Anwendungsfälle zu zeigen, die Ihr Agent bearbeitet.

  • Zusammenfassung der Ausführung: Fasst den Ansatz des Agenten und das Ergebnis jeder Sitzung zusammen und gruppiert dann ähnliche Ausführungsmuster, um aufzuzeigen, wie Ihr Agent normalerweise Probleme löst.

Nach der Analyse pro Sitzung gruppieren die Service die Ergebnisse sitzungsübergreifend, um wiederkehrende Muster aufzudecken. Für die Fehleranalyse ergibt sich daraus eine dreistufige Hierarchie: Fehlerkategorien → Unterkategorien → Ursachencluster, jeweils mit den betroffenen Sitzungen, Erläuterungen und Empfehlungen zur Problembehebung.

Wie Erkenntnisse gewonnen werden

Die Insights-Analyse kann auf zwei Arten ausgelöst werden:

  • Einmal über eine Batch-Auswertung: Rufen Sie StartBatchEvaluation mit insights an, um die Analyse über einen Zeitraum von Sitzungen durchzuführen. Die Ergebnisse werden bis zurückgegebenGetBatchEvaluation.

  • Zeitplan für wiederkehrende Tests per Clustering: Konfigurieren Sie in Ihrer Online-Evaluierung eine ClusteringConfig Konfiguration mit einer oder mehreren Frequenzen (DAILY,WEEKLY, oderMONTHLY). Der Dienst löst automatisch Batch-Bewertungsaufträge in der konfigurierten Schrittfrequenz aus. Sie können im wiederkehrenden Zeitplan auch einen benutzerdefinierten Bericht erstellen, um ihn an ein bestimmtes Datum und eine bestimmte Uhrzeit zu binden.

Per-session Die Insight-Analyse wird automatisch ausgeführt CreateOnlineEvaluationConfig, wenn Insights über konfiguriert werden. Die Cluster-Analyse ergibt jedoch, dass Oberflächenmuster nur bei Batch-Auswertungsaufträgen generiert werden.

Von der Triage bis zur Optimierung

AgentCore Insights arbeitet mit AgentCore Optimierung zusammen, um den Verbesserungskreislauf zu schließen. Nachdem Insights Fehlermuster und Grundursachen identifiziert hat, können Sie diese Ergebnisse in die Empfehlungs-API einspeisen, um eine verbesserte Systemaufforderung zu generieren, die die ausgewählten Probleme behebt. Auf diese Weise werden die Diagnoseergebnisse in umsetzbare Konfigurationsänderungen umgewandelt:

  1. Triage: Ermitteln Sie anhand von Erkenntnissen wiederkehrende Fehlerkategorien und deren Ursachen.

  2. Empfehlung generieren: Rufen Sie StartRecommendation mit Ihrer aktuellen Systemaufforderung an und verweisen Sie sie auf dieselben Agenten-Traces. Der Service gibt eine empfohlene Systemaufforderung mit einer Erläuterung der Änderungen aus.

  3. Validieren: Verwenden Sie A/B Tests, um die ursprüngliche und die empfohlene Konfiguration mit dem Live-Verkehr zu vergleichen.