View a markdown version of this page

Bericht über wiederkehrende Erkenntnisse - Amazon Grundgestein AgentCore
Erstellen Sie die KonfigurationKonfigurationsparameterAktualisieren Sie eine KonfigurationWiederkehrende Berichtsergebnisse anzeigenDie Konfiguration verwalten

Bericht über wiederkehrende Erkenntnisse

Erstellen Sie eine Online-Evaluierungskonfiguration mit Erkenntnissen und einem Clustering-Zeitplan. Der Service führt automatisch die Insights-Analyse im konfigurierten Rhythmus durch, ohne dass manuelles Eingreifen erforderlich ist.

Erstellen Sie die Konfiguration

Beispiel
AgentCore CLI
agentcore add online-insights --name my_agent_insights --runtime MyAgent --insights Builtin.Insight.FailureAnalysis --sampling-rate 100 --clustering-frequency DAILY --enable-on-create --json

Stellen Sie die Bereitstellung dann wie folgt bereit CloudFormation:

agentcore deploy -y --json
Interactive

  1. Führen Sie den Befehl aus, agentcore um die TUI zu öffnen, wählen Sie dann Hinzufügen und dann Online Insights aus:

    Insights-Assistent: Wählen Sie den zu überwachenden Agenten aus

  2. Wählen Sie die Einblicke aus, die Sie aktivieren möchten:

    Insights-Assistent: Wählen Sie Einblicke aus

  3. Stellen Sie die Abtastrate ein:

    Insights-Assistent: Samplerate einstellen

  4. Wählen Sie die Clustering-Frequenzen aus:

    Insights-Assistent: Wählen Sie die Clustering-Frequenz

  5. Geben Sie einen Namen für die Konfiguration ein:

    Insights-Assistent: Geben Sie den Konfigurationsnamen ein

  6. Überprüfen Sie die Konfiguration und drücken Sie die Eingabetaste, um Folgendes zu bestätigen:

    Insights-Assistent: Konfiguration überprüfen
AWS SDK (boto3)
import boto3

client_cp = boto3.client("bedrock-agentcore-control", region_name="us-west-2")

response = client_cp.create_online_evaluation_config(
    onlineEvaluationConfigName="my_agent_insights",
    rule={
        "samplingConfig": {"samplingPercentage": 100.0},
        "sessionConfig": {"sessionTimeoutMinutes": 30},
    },
    dataSourceConfig={
        "cloudWatchLogs": {
            "serviceNames": ["MyAgent.DEFAULT"],
            "logGroupNames": [
                "/aws/bedrock-agentcore/runtimes/MyAgent-abc123-DEFAULT"
            ],
        }
    },
    insights=[
        {"insightId": "Builtin.Insight.FailureAnalysis"},
        {"insightId": "Builtin.Insight.UserIntent"},
    ],
    clusteringConfig={"frequencies": ["DAILY"]},
    evaluationExecutionRoleArn="arn:aws:iam::123456789012:role/AgentCoreEvaluationRole",
    enableOnCreate=True,
)

config_id = response["onlineEvaluationConfigId"]
print(f"Created config: {config_id}")

Dadurch wird der Dienst angewiesen:

  • Stichprobensitzungen mit der konfigurierten Rate (in diesem Beispiel 100% — samplingPercentage zur Anpassung --sampling-rate oder Analyse einer Teilmenge des Datenverkehrs).

  • Führen Sie für jede Stichprobensitzung eine Fehleranalyse und eine Extraktion der Benutzerabsichten durch.

  • Lösen Sie täglich einen Clustering-Bericht aus.

Konfigurationsparameter

Parameter Typ Erforderlich Description

insights

Auflisten

Erforderlich (schließt sich gegenseitig aus mitevaluators)

Liste der auszuführenden Insight-Typen. Jeder Eintrag hat eineinsightId. Maximal 10.

rule.samplingConfig.samplingPercentage

Zahl

Nein (Standard: 100)

Prozentsatz der zu analysierenden Sitzungen (1—100). Verwenden Sie eine niedrigere Abtastrate für Agenten mit hohem Besucheraufkommen, um die Kosten unter Kontrolle zu halten und gleichzeitig Fehlermuster aufzudecken.

clusteringConfig

Objekt

Nein

Konfiguriert regelmäßige Batch-Evaluierungsaufträge für Clustering. Enthält eine frequencies Liste. Kann nur verwendet werden, wenn insights es bereitgestellt wird.

clusteringConfig.frequencies

Liste von Zeichenfolgen

Ja (innerhalbclusteringConfig)

Einer oder mehrere von:DAILY,WEEKLY,MONTHLY. Maximal 3 Werte.
Anmerkung

Erkenntnisse und Evaluatoren schließen sich gegenseitig aus — Sie müssen entweder den einen oder den anderen angeben, nicht beide. Wenn Sie sowohl die Qualitätsbewertung als auch die Fehlersuche für denselben Agenten wünschen, erstellen Sie zwei separate Konfigurationen, die auf dieselbe Datenquelle verweisen.

Aktualisieren Sie eine Konfiguration

Ändern Sie die Statistiken oder die Häufigkeit der Clusterbildung:

client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    insights=[
        {"insightId": "Builtin.Insight.FailureAnalysis"},
        {"insightId": "Builtin.Insight.UserIntent"},
    ],
    clusteringConfig={"frequencies": ["DAILY", "WEEKLY"]},
)

Wiederkehrende Berichtsergebnisse anzeigen

Bei wiederkehrenden Berichten werden automatisch Batch-Bewertungsaufträge erstellt. Verwenden Sie diese Option, ListBatchEvaluations um abgeschlossene Berichte GetBatchEvaluation zu finden und anschließend Ergebnisse abzurufen:

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# List recent batch evaluations
evaluations = client.list_batch_evaluations()

for eval_summary in evaluations.get("batchEvaluations", []):
    if eval_summary["status"] == "COMPLETED" and eval_summary.get("insights"):
        result = client.get_batch_evaluation(
            batchEvaluationId=eval_summary["batchEvaluationId"]
        )
        print(f"Report: {eval_summary['batchEvaluationName']}")
        if "failureAnalysisResult" in result:
            failures = result["failureAnalysisResult"]["failures"]
            print(f"  Found {len(failures)} failure categories")

Die Konfiguration verwalten

Beispiel
AgentCore CLI

Pause:

agentcore pause online-insights my_agent_insights --json

Fortfahren:

agentcore resume online-insights my_agent_insights --json

Entfernen:

agentcore remove online-insights --name my_agent_insights --yes --json
AWS SDK (boto3)

Pause machen oder fortsetzen:

# Pause
client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    executionStatus="DISABLED",
)

# Resume
client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    executionStatus="ENABLED",
)

Löschen:

client_cp.delete_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
)
Warnung

Durch das Löschen einer Konfiguration werden frühere Ergebnisse der Batch-Auswertung nicht gelöscht. Historische Einblickergebnisse sind weiterhin zugänglich überGetBatchEvaluation.