Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dasbor kinerja Agen AI
Anda dapat menggunakan dasbor kinerja Agen AI untuk melihat kinerja Agen AI, dan mendapatkan wawasan di seluruh Agen AI dan dari waktu ke waktu.
Dasbor menyediakan satu tempat untuk melihat kinerja Agen AI agregat. Gunakan dasbor untuk melihat metrik Agen AI Anda seperti jumlah pemanggilan, latensi, dan tingkat keberhasilan.
Daftar Isi
Aktifkan akses ke dasbor
Pastikan pengguna diberi izin profil keamanan yang sesuai:
Metrik akses - Izin akses atau Dasbor - Izin akses. Untuk informasi tentang perbedaan perilaku, lihatTetapkan izin untuk melihat dasbor dan laporan di Connect Customer.
Setidaknya satu dari izin profil keamanan berikut diperlukan untuk mengakses dasbor Kinerja Agen AI:
-
Perancang agen AI - Izin tampilan agen AI
-
Perancang agen AI - Izin tampilan prompt AI
-
Perancang agen AI - Izin melihat pagar pembatas AI
-
Aplikasi agen - Hubungkan izin tampilan asisten
Dasbor tersedia di: Analisis dan pengoptimalan > Dasbor analitik> Kinerja Agen AI.
Tentukan benchmark “Rentang waktu” dan “Bandingkan dengan”
Gunakan filter Rentang waktu untuk menentukan tanggal dan periode waktu yang ingin Anda lihat data di dasbor.
Secara default, dasbor menampilkan data untuk minggu terakhir. Anda dapat menyesuaikan rentang waktu untuk melihat data dari 15 menit terakhir atau kembali hingga 3 bulan dalam riwayat.
Gunakan Band ingkan untuk memfilter untuk memilih periode waktu untuk membandingkan data Anda saat ini. Dengan filter Bandingkan untuk, Anda dapat mengidentifikasi tren dan melacak peningkatan atau masalah dari waktu ke waktu.
Self-service Ringkasan kinerja AI
Bagian ini menunjukkan kesehatan Self-Service interaksi Anda AI-Agent yang dimulai. Ini menampilkan metrik utama berikut untuk periode waktu yang dipilih yang difilter oleh kasus penggunaan 'Layanan mandiri':
-
AI melibatkan kontak:
Jumlah total kontak yang ditangani di mana agen AI menyelesaikan pertanyaan pelanggan tanpa melibatkan agen manusia.
-
Agen AI aktif:
Jumlah total agen AI unik, di mana setiap agen diidentifikasi oleh kombinasi unik Nama dan Versi.
-
Tingkat penyelesaian respons:
Persentase sesi agen AI yang berhasil menanggapi permintaan yang masuk.
-
Tingkat serah terima:
Persentase kontak layanan mandiri yang ditangani oleh agen AI yang ditandai membutuhkan dukungan tambahan termasuk tetapi tidak terbatas pada agen manusia.
-
Tingkat keberhasilan tujuan:
Proporsi sesi di mana agen AI berhasil menyelesaikan masalah pelanggan. Nilai antara 0-1, di mana 1 menunjukkan resolusi yang berhasil di semua sesi.
-
Skor kesetiaan:
Proporsi respons agen AI yang tetap setia pada konteks percakapan, termasuk pesan dan hasil panggilan alat. Nilai adalah antara 0-1, di mana 1 menunjukkan kesetiaan kontekstual yang sempurna.
Gambar berikut menunjukkan contoh bagan ringkasan kinerja Self-service AI.
Ringkasan kinerja AI bantuan agen
Widget ini menunjukkan kesehatan interaksi yang dibantu agen Anda di mana AI memberikan dukungan kepada agen manusia. Ini menampilkan metrik utama berikut untuk periode waktu yang dipilih yang difilter oleh kasus penggunaan 'Bantuan Agen'.
-
AI melibatkan kontak:
Jumlah total kontak di mana Agen AI membantu agen manusia dalam menyelesaikan pertanyaan pelanggan.
-
Agen AI aktif:
Jumlah total agen AI unik, di mana setiap agen diidentifikasi oleh kombinasi unik Nama dan Versi.
-
Tingkat penyelesaian respons:
Persentase sesi agen AI yang berhasil menanggapi permintaan yang masuk.
-
Tingkat keterlibatan niat proaktif:
Persentase maksud proaktif yang terdeteksi diklik oleh agen manusia.
-
Skor kesetiaan:
Proporsi respons agen AI yang tetap setia pada konteks percakapan, termasuk pesan dan hasil panggilan alat. Nilai adalah antara 0-1, di mana 1 menunjukkan kesetiaan kontekstual yang sempurna.
Gambar berikut menunjukkan contoh bagan ringkasan kinerja AI bantuan agen.
Kinerja agen AI
Tabel ini memberikan tampilan menelusuri kinerja agen AI dari kasus penggunaan hingga versi agen individual dan metrik kinerja utamanya.
Tabel menampilkan metrik kinerja pada dua tingkat:
-
Tingkat kasus penggunaan AI:
Metrik agregat di semua versi agen dalam kasus penggunaan (layanan mandiri pelanggan akhir, bantuan agen).
-
Tingkat versi agen AI:
Metrik kinerja individu untuk setiap versi agen.
Anda dapat memperluas atau menciutkan baris kasus penggunaan untuk menelusuri versi agen tertentu. Untuk melihat bagaimana setiap versi berkontribusi terhadap kinerja kasus penggunaan secara keseluruhan, lihat metrik individual untuk setiap baris versi agen.
Metrik yang ditampilkan:
-
Jumlah pemanggilan agen AI:
Jumlah total versi agen AI dipanggil.
-
Tingkat keberhasilan pemanggilan agen AI:
Persentase pemanggilan agen AI yang berhasil dijalankan.
-
Rata-rata Percakapan agen AI berubah:
Jumlah rata-rata pergantian percakapan yang dilakukan agen AI untuk mencapai hasil.
-
Tanggapan yang bermanfaat:
Jumlah saran AI dinilai bermanfaat dengan acungan jempol.
-
Respon yang tidak membantu:
Jumlah saran AI dinilai tidak membantu dengan mengacungkan jempol.
-
Akurasi penggunaan alat:
Tingkat penggunaan alat yang benar oleh agen AI. Nilai antara 0-1, di mana 1 menunjukkan penggunaan yang sempurna.
-
Akurasi pemilihan alat:
Tingkat pemilihan alat yang benar oleh Agen AI. Nilai antara 0-1, di mana 1 menunjukkan pemilihan optimal.
-
Akurasi parameter alat:
Tingkat pemanggilan alat di mana Agen AI memberikan parameter yang benar. Nilai adalah antara 0-1, di mana 1 menunjukkan akurasi parameter yang sempurna.
Gambar berikut menunjukkan contoh tabel kinerja agen AI.
Agen AI berdasarkan tingkat keberhasilan pemanggilan
Bagan tingkat keberhasilan pemanggilan agen AI menampilkan tingkat keberhasilan pemanggilan untuk setiap agen AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter agen AI tertentu, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh agen AI dengan bagan tingkat keberhasilan pemanggilan.
Penggunaan basis pengetahuan
Tabel ini memberikan tampilan menelusuri artikel basis pengetahuan yang direferensikan oleh agen AI Anda. Anda dapat memperluas berdasarkan jenis agen AI dan baris agen AI untuk menelusuri nama basis pengetahuan tertentu untuk melihat berapa kali basis pengetahuan direferensikan oleh agen AI.
Metrik yang ditampilkan:
-
Jumlah referensi — Berapa kali artikel direferensikan oleh agen AI.
Gambar berikut menunjukkan contoh tabel penggunaan basis pengetahuan.
Tren kinerja agen AI
Tren kinerja agen AI adalah grafik deret waktu yang menampilkan tingkat keberhasilan pemanggilan agen AI (bilah biru), skor Kesetiaan (garis merah), dan akurasi penggunaan Alat (garis hijau) selama periode waktu tertentu yang dipecah berdasarkan interval (15 menit, harian, mingguan, bulanan). Anda dapat mengkonfigurasi interval rentang waktu yang berbeda dengan menggunakan tombol “Interval” langsung di widget. Interval yang mungkin Anda pilih bergantung pada filter rentang waktu tingkat halaman.
Contoh:
-
Jika Anda memilih filter rentang waktu “Hari Ini” di dasbor Anda, Anda hanya dapat melihat interval 15 menit selama 24 jam terakhir.
-
Jika Anda memilih filter rentang waktu “Hari” di dasbor Anda, Anda dapat melihat tren interval 8 hari trailing, atau tren interval 15 menit untuk 24 jam yang tertinggal.
-
Jika Anda memilih filter rentang waktu “Minggu” di dasbor Anda, Anda dapat melihat tren interval harian atau mingguan.
-
Jika Anda memilih filter rentang waktu “Bulan” di dasbor Anda, Anda dapat melihat tren interval harian atau bulanan.
Gambar berikut menunjukkan contoh grafik tren kinerja agen AI.
Penggunaan alat AI
Tabel ini membandingkan implementasi alat (misalnya, MCP - Model Context Protocol, Return-to-Control) pada pemanggilan, latensi rata-rata dan tingkat keberhasilan pemanggilan, dan akurasi penggunaan alat.
Misalnya, Anda dapat memilih jenis agen AI (seperti Orkestrasi atau Rekomendasi Jawaban) dan melihat kinerja berbagai alat dan versinya dalam jenis agen tersebut. Anda dapat mengidentifikasi versi alat mana yang perlu dioptimalkan dengan mengurutkan kolom menggunakan jumlah pemanggilan alat AI, tingkat keberhasilan pemanggilan alat AI, atau Rata-rata. Lat ensi pemanggilan alat AI.
Tabel menampilkan metrik kinerja pada tiga tingkat:
-
Tingkat jenis agen AI:
Metrik agregat di semua alat dan versi dalam jenis agen.
-
Tingkat jenis alat AI:
Metrik agregat di semua versi jenis alat tertentu.
-
Alat AI:
Metrik kinerja individu untuk setiap versi alat.
Anda dapat memperluas atau menciutkan baris jenis agen AI dan jenis alat untuk menelusuri versi alat tertentu. Untuk melihat bagaimana setiap versi berkontribusi terhadap kinerja jenis alat secara keseluruhan, lihat metrik individual untuk setiap baris versi alat.
Metrik yang ditampilkan:
-
Jumlah pemanggilan alat AI:
Jumlah total versi alat AI dipanggil.
-
Rata-rata Latensi pemanggilan alat AI:
Latensi pemanggilan rata-rata dalam milidetik untuk versi alat.
-
Tingkat keberhasilan pemanggilan alat AI:
Persentase pemanggilan alat AI yang berhasil dijalankan.
-
Akurasi penggunaan alat:
Tingkat penggunaan alat yang benar oleh agen AI. Nilai antara 0-1, di mana 1 menunjukkan penggunaan yang sempurna.
-
Akurasi pemilihan alat:
Tingkat pemilihan alat yang benar oleh Agen AI. Nilai antara 0-1, di mana 1 menunjukkan pemilihan optimal.
-
Akurasi parameter alat:
Tingkat pemanggilan alat di mana Agen AI memberikan parameter yang benar. Nilai adalah antara 0-1, di mana 1 menunjukkan akurasi parameter yang sempurna.
Gambar berikut menunjukkan contoh tabel penggunaan alat AI.
Kinerja cepat AI
Tabel ini memberikan tampilan menelusuri kinerja prompt AI. Anda dapat memperluas jenis agen AI dan baris tipe prompt untuk menelusuri versi prompt tertentu. Untuk melihat bagaimana setiap versi berkontribusi terhadap kinerja tipe prompt secara keseluruhan, lihat metrik individual untuk setiap baris versi prompt.
Tabel menampilkan metrik kinerja pada tiga tingkat:
-
Tingkat jenis agen AI:
Metrik agregat di semua petunjuk dan versi untuk jenis agen AI.
-
Tingkat jenis prompt AI:
Metrik agregat di semua versi jenis prompt AI tertentu.
-
Tingkat versi prompt AI:
Metrik kinerja individu untuk setiap versi prompt AI.
Metrik yang ditampilkan:
-
Jumlah pemanggilan prompt AI:
Jumlah total kali versi prompt AI dipanggil.
-
Tingkat keberhasilan pemanggilan prompt AI:
Persentase pemanggilan prompt AI yang berhasil dijalankan.
-
Rata-rata Latensi pemanggilan prompt AI:
Latensi pemanggilan rata-rata dalam milidetik untuk versi prompt AI.
Selain menggunakan filter halaman, Anda dapat menambahkan filter ke tabel untuk agen AI tertentu, petunjuk AI, rentang waktu, atau dimensi lainnya.
Gambar berikut menunjukkan contoh tabel kinerja prompt AI.
Tren maksud proaktif
Grafik tren maksud proaktif menunjukkan maksud proaktif yang terdeteksi (bilah biru), terhadap tingkat keterlibatan niat proaktif (garis merah) dan tingkat respons niat proaktif (garis hijau) selama periode waktu tertentu yang dipecah berdasarkan interval (15 menit, harian, mingguan, bulanan). Anda dapat mengkonfigurasi interval rentang waktu yang berbeda dengan menggunakan tombol “Interval” langsung di widget. Interval yang mungkin Anda pilih bergantung pada filter rentang waktu tingkat halaman.
Metrik yang ditampilkan:
-
Maksud proaktif terdeteksi:
Jumlah maksud proaktif (permintaan pelanggan) yang terdeteksi selama sesi AI, untuk kasus penggunaan Bantuan Agen.
-
Tingkat keterlibatan niat proaktif:
Persentase maksud proaktif yang terdeteksi yang diklik atau dilibatkan oleh agen manusia, untuk kasus penggunaan Bantuan Agen.
-
Tingkat respons niat proaktif:
Persentase maksud proaktif yang terlibat yang berhasil dipenuhi oleh Agen AI, untuk kasus penggunaan Bantuan Agen.
Gambar berikut menunjukkan contoh grafik tren maksud proaktif.
Permintaan AI dengan latensi pemanggilan
Bagan latensi permintaan AI dengan pemanggilan menampilkan latensi pemanggilan rata-rata dalam milidetik untuk setiap prompt AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter untuk petunjuk AI tertentu, jenis prompt AI, agen AI, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh permintaan AI dengan bagan latensi pemanggilan.
Permintaan AI berdasarkan tingkat keberhasilan pemanggilan
Bagan tingkat keberhasilan permintaan AI berdasarkan pemanggilan menampilkan tingkat keberhasilan pemanggilan untuk setiap prompt AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter untuk petunjuk AI tertentu, jenis prompt AI, agen AI, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh permintaan AI dengan bagan tingkat keberhasilan pemanggilan.
