View a markdown version of this page

Laporan wawasan berulang - Batuan Dasar Amazon AgentCore
Buat konfigurasiParameter konfigurasiPerbarui konfigurasiLihat hasil laporan berulangKelola konfigurasi

Laporan wawasan berulang

Buat konfigurasi evaluasi online dengan wawasan dan jadwal pengelompokan. Layanan secara otomatis menjalankan analisis wawasan tentang irama yang dikonfigurasi tanpa intervensi manual.

Buat konfigurasi

contoh
AgentCore CLI
agentcore add online-insights --name my_agent_insights --runtime MyAgent --insights Builtin.Insight.FailureAnalysis --sampling-rate 100 --clustering-frequency DAILY --enable-on-create --json

Kemudian terapkan melalui CloudFormation:

agentcore deploy -y --json
Interactive

  1. Jalankan agentcore untuk membuka TUI, lalu pilih tambah dan pilih Wawasan Online:

    Wizard wawasan: pilih agen untuk dipantau

  2. Pilih wawasan untuk mengaktifkan:

    Wizard wawasan: pilih wawasan

  3. Atur laju pengambilan sampel:

    Wizard wawasan: atur laju pengambilan sampel

  4. Pilih frekuensi pengelompokan:

    Wizard wawasan: pilih frekuensi pengelompokan

  5. Masukkan nama konfigurasi:

    Wizard wawasan: masukkan nama konfigurasi

  6. Tinjau konfigurasi dan tekan Enter untuk mengonfirmasi:

    Wizard wawasan: konfigurasi tinjauan
AWS SDK (boto3)
import boto3

client_cp = boto3.client("bedrock-agentcore-control", region_name="us-west-2")

response = client_cp.create_online_evaluation_config(
    onlineEvaluationConfigName="my_agent_insights",
    rule={
        "samplingConfig": {"samplingPercentage": 100.0},
        "sessionConfig": {"sessionTimeoutMinutes": 30},
    },
    dataSourceConfig={
        "cloudWatchLogs": {
            "serviceNames": ["MyAgent.DEFAULT"],
            "logGroupNames": [
                "/aws/bedrock-agentcore/runtimes/MyAgent-abc123-DEFAULT"
            ],
        }
    },
    insights=[
        {"insightId": "Builtin.Insight.FailureAnalysis"},
        {"insightId": "Builtin.Insight.UserIntent"},
    ],
    clusteringConfig={"frequencies": ["DAILY"]},
    evaluationExecutionRoleArn="arn:aws:iam::123456789012:role/AgentCoreEvaluationRole",
    enableOnCreate=True,
)

config_id = response["onlineEvaluationConfigId"]
print(f"Created config: {config_id}")

Ini memberitahu layanan untuk:

  • Sesi sampel pada tingkat yang dikonfigurasi (100% dalam contoh ini — samplingPercentage menyesuaikan --sampling-rate atau menganalisis subset lalu lintas).

  • Jalankan analisis kegagalan dan ekstraksi maksud pengguna pada setiap sesi sampel.

  • Picu laporan pengelompokan setiap hari.

Parameter konfigurasi

Parameter Tipe Diperlukan Deskripsi

insights

Daftar

Diperlukan (saling eksklusif denganevaluators)

Daftar jenis wawasan untuk dijalankan. Setiap entri memilikiinsightId. Maksimal 10.

rule.samplingConfig.samplingPercentage

Bilangan

Tidak (default: 100)

Persentase sesi untuk dianalisis (1-100). Gunakan tingkat pengambilan sampel yang lebih rendah untuk agen lalu lintas tinggi untuk mengontrol biaya sambil tetap memunculkan pola kegagalan.

clusteringConfig

Objek

Tidak

Mengonfigurasi pekerjaan evaluasi batch berkala untuk pengelompokan. Berisi frequencies daftar. Hanya dapat digunakan saat insights disediakan.

clusteringConfig.frequencies

Daftar string

Ya (dalamclusteringConfig)

Satu atau lebih dari:DAILY,WEEKLY,MONTHLY. Maksimum 3 nilai.
catatan

Wawasan dan evaluator saling eksklusif — Anda harus memberikan satu atau yang lain, bukan keduanya. Jika Anda menginginkan penilaian kualitas dan triase kegagalan untuk agen yang sama, buat dua konfigurasi terpisah yang menunjuk ke sumber data yang sama.

Perbarui konfigurasi

Ubah wawasan atau frekuensi pengelompokan:

client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    insights=[
        {"insightId": "Builtin.Insight.FailureAnalysis"},
        {"insightId": "Builtin.Insight.UserIntent"},
    ],
    clusteringConfig={"frequencies": ["DAILY", "WEEKLY"]},
)

Lihat hasil laporan berulang

Laporan berulang menghasilkan pekerjaan evaluasi batch secara otomatis. Gunakan ListBatchEvaluations untuk menemukan laporan yang sudah selesai, lalu GetBatchEvaluation untuk mengambil hasil:

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# List recent batch evaluations
evaluations = client.list_batch_evaluations()

for eval_summary in evaluations.get("batchEvaluations", []):
    if eval_summary["status"] == "COMPLETED" and eval_summary.get("insights"):
        result = client.get_batch_evaluation(
            batchEvaluationId=eval_summary["batchEvaluationId"]
        )
        print(f"Report: {eval_summary['batchEvaluationName']}")
        if "failureAnalysisResult" in result:
            failures = result["failureAnalysisResult"]["failures"]
            print(f"  Found {len(failures)} failure categories")

Kelola konfigurasi

contoh
AgentCore CLI

Jeda:

agentcore pause online-insights my_agent_insights --json

Lanjutkan:

agentcore resume online-insights my_agent_insights --json

Hapus:

agentcore remove online-insights --name my_agent_insights --yes --json
AWS SDK (boto3)

Jeda atau lanjutkan:

# Pause
client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    executionStatus="DISABLED",
)

# Resume
client_cp.update_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
    executionStatus="ENABLED",
)

Hapus:

client_cp.delete_online_evaluation_config(
    onlineEvaluationConfigId=config_id,
)
Awas

Menghapus konfigurasi tidak menghapus hasil evaluasi batch sebelumnya. Hasil wawasan historis tetap dapat diakses melaluiGetBatchEvaluation.