AgentCore wawasan: Kegagalan agen triase dengan analisis pola
catatan
AgentCore wawasan ada di pratinjau publik. Fitur dan API dapat berubah sebelum ketersediaan umum.
catatan
Saat menggunakan AgentCore wawasan di ap-south-1, layanan menggunakan profil inferensi lintas wilayah Bedrock APAC. Saat menggunakan AgentCore wawasan di ap-northeast-2, layanan menggunakan profil inferensi lintas wilayah global Bedrock. Dalam kedua kasus tersebut, permintaan Anda dapat diarahkan ke salah satu Wilayah tujuan di profil. Perutean ini dapat terjadi bahkan jika Anda belum memilih Wilayah tersebut atau memiliki Kebijakan Kontrol Layanan yang secara eksplisit menolak kesimpulan di dalamnya. Permintaan input dan hasil keluaran dapat disimpan di Wilayah tujuan ini untuk tujuan deteksi penyalahgunaan.
AgentCore Wawasan Amazon Bedrock menganalisis sesi agen Anda untuk mengidentifikasi pola kegagalan, mengekstrak maksud pengguna, dan meringkas perilaku eksekusi. Wawasan memperluas AgentCore Evaluasi dengan menyediakan analisis triase yang melampaui penilaian — ini memberi tahu Anda mengapa agen Anda gagal dan apa yang ingin dicapai pengguna Anda.
AgentCore wawasan menyediakan tiga jenis analisis:
-
Analisis kegagalan: Mengidentifikasi kegagalan dalam sesi agen, mengkategorikannya menggunakan taksonomi terperinci (kesalahan alat, halusinasi, penalaran yang salah, perilaku berulang, dan banyak lagi), melacak akar penyebab kembali ke rentang tertentu, dan memberikan rekomendasi perbaikan.
-
Ekstraksi maksud pengguna: Mengekstrak apa yang pengguna coba capai di setiap sesi, lalu mengelompokkan maksud serupa bersama-sama untuk menunjukkan kepada Anda kasus penggunaan paling umum yang ditangani agen Anda.
-
Ringkasan eksekusi: Merangkum pendekatan yang diambil agen dan hasilnya untuk setiap sesi, kemudian mengelompokkan pola eksekusi yang serupa untuk mengungkapkan bagaimana agen Anda biasanya memecahkan masalah.
Setelah analisis per sesi, kluster layanan menghasilkan seluruh sesi untuk memunculkan pola berulang. Untuk analisis kegagalan, ini menghasilkan hierarki tiga tingkat: kategori kegagalan → subkategori → cluster akar penyebab, masing-masing dengan sesi yang terpengaruh, penjelasan, dan rekomendasi remediasi.
Bagaimana wawasan dipicu
Analisis wawasan dapat dipicu dengan dua cara:
-
Satu kali melalui evaluasi batch: Hubungi
StartBatchEvaluationinsightsuntuk menjalankan analisis selama rentang waktu sesi. Hasil dikembalikan melaluiGetBatchEvaluation. -
Berulang melalui jadwal pengelompokan: Konfigurasikan
ClusteringConfigkonfigurasi evaluasi online Anda dengan satu atau lebih frekuensi (DAILY,WEEKLY, atau).MONTHLYLayanan secara otomatis memicu pekerjaan evaluasi batch pada irama yang dikonfigurasi. Anda juga dapat membuat laporan kustom dalam jadwal berulang untuk menyematkan ke tanggal dan waktu tertentu.
Per-session analisis wawasan berjalan secara otomatis ketika wawasan dikonfigurasi melalui CreateOnlineEvaluationConfig, tetapi hasil yang dikelompokkan bahwa pola permukaan hanya dihasilkan selama pekerjaan evaluasi batch.
Dari triase hingga optimasi
AgentCore wawasan bekerja sama dengan AgentCore pengoptimalan untuk menutup loop peningkatan. Setelah wawasan mengidentifikasi pola kegagalan dan akar penyebab, Anda dapat memasukkan temuan tersebut ke dalam API Rekomendasi untuk menghasilkan prompt sistem yang ditingkatkan yang mengatasi masalah yang diprioritaskan. Ini mengubah output diagnostik menjadi perubahan konfigurasi yang dapat ditindaklanjuti:
-
Triase: Jalankan wawasan untuk mengidentifikasi kategori kegagalan berulang dan akar penyebab.
-
Hasilkan rekomendasi: Panggil
StartRecommendationdengan prompt sistem Anda saat ini dan arahkan ke jejak agen yang sama. Layanan ini menghasilkan prompt sistem yang direkomendasikan dengan penjelasan tentang apa yang diubah. -
Validasi: Gunakan A/B pengujian untuk membandingkan konfigurasi asli dan yang direkomendasikan dengan lalu lintas langsung.
