Mengevaluasi kinerja agen di Connect Customer menggunakan AI generatif

Gunakan AI generatif untuk menjawab pertanyaan yang hanya memerlukan transkrip percakapan. Contohnya adalah pertanyaan tentang soft skill, pertanyaan yang memeriksa aliran panggilan, atau pernyataan kepatuhan, antara lain.

Pisahkan pertanyaan kompleks menjadi beberapa pertanyaan sederhana. Misalnya, alih-alih “Apakah agen menunjukkan pendengaran aktif?” , ajukan dua pertanyaan: “Apakah agen memahami masalah pelanggan pertama kali, tanpa pelanggan perlu mengulanginya?” dan “Apakah agen merangkum masalah setelah pelanggan menjelaskannya?”.

Gunakan pertanyaan yang diaktifkan secara kondisional untuk mengaktifkan atau menonaktifkan pertanyaan yang hanya berlaku dalam situasi tertentu. Misalnya, Anda mungkin memiliki satu pertanyaan, “Apakah pelanggan membeli produk selama percakapan?” , dan pertanyaan berikutnya yang diaktifkan secara kondisional, “Apakah agen memberikan pengungkapan biaya wajib sebelum menyelesaikan penjualan?”. Untuk detail selengkapnya, lihat Langkah 4: Aktifkan pertanyaan secara kondisional.

Jangan gunakan AI generatif untuk menjawab pertanyaan yang membutuhkan informasi di luar transkrip percakapan. AI generatif tidak dapat menganalisis rekaman layar, mengakses sistem internal atau pihak ketiga Anda seperti aplikasi CRM, atau mengevaluasi percakapan di beberapa kontak.

Jangan gunakan AI generatif untuk mengevaluasi aktivitas yang dapat diukur seperti “Apakah pelanggan ditahan secara berlebihan?” atau “Apakah pelanggan sering terganggu?”. Sebagai gantinya, atur jenis pertanyaan ke Nomor dan gunakan metrik seperti durasi penahanan terlama atau jumlah interupsi. Untuk detail selengkapnya, lihat Langkah 6: Aktifkan evaluasi otomatis.

Jangan mengotomatiskan pertanyaan yang menilai interaksi antara beberapa pihak (agen lain, institusi mitra, atau pelanggan kedua). analitik percakapan hanya mengetahui dua peserta pada waktu tertentu. Misalnya, hindari pertanyaan seperti “Jika orang lain selain pemegang akun utama bergabung dalam percakapan, apakah agen terlebih dahulu mengkonfirmasi dengan pemegang akun utama sebelum melanjutkan?”.

Jangan mengajukan pertanyaan yang tergantung pada nada suara. AI generatif tidak dapat menentukan nada agen atau pelanggan.

Jangan gunakan AI generatif untuk pertanyaan yang sangat subjektif, seperti “Apakah agen memperhatikan selama panggilan?”.

Pertanyaan kata sebagai kalimat lengkap. Alih-alih “Validasi ID”, tanyakan “Apakah agen mencoba memvalidasi identitas pelanggan?”.

Tambahkan kriteria evaluasi terperinci dalam Instruksi untuk evaluator untuk pertanyaan tersebut. Untuk “Apakah agen mencoba memvalidasi identitas pelanggan?” , tambahkan instruksi: Jawabannya adalah Ya jika agen meminta nomor keanggotaan pelanggan dan kode pos sebelum menjawab pertanyaan mereka. Jawabannya adalah Tidak sebaliknya.

Tentukan istilah khusus bisnis yang menjadi pertanyaan tergantung. Jika agen harus memberi nama departemen dalam salam, cantumkan contoh nama departemen dalam instruksi.

Gunakan “agen” dan “pelanggan” secara konsisten. Hindari variasi seperti “kolega”, “perwakilan”, atau “rekan”, dan “anggota”, “penelepon”, atau “pelanggan”.

Jelaskan siapa yang sedang dievaluasi. “Apakah agen menghindari penggunaan kata-kata kotor?” dapat dibaca sebagai menanyakan apakah kata-kata kotor terjadi di mana saja, mengembalikan “Tidak” bahkan ketika hanya pelanggan yang menggunakannya. Tanyakan “Apakah agen menggunakan kata-kata kotor?” sebagai gantinya.

Pertanyaan frasa secara positif. Gunakan “Apakah agen menyapa pelanggan?” alih-alih “Apakah agen melewatkan salam?”. Mengucapkan pertanyaan secara positif memberikan alasan dan referensi AI-evaluation yang lebih baik.

Tentukan kapan jawabannya Tidak Berlaku (N/A). Misalnya: Jawabannya adalah N/A jika panggilan tersebut menghasilkan transfer.

Dalam Instruksi untuk evaluator, jelaskan kapan AI harus memilih setiap opsi jawaban. Untuk “Apakah agen memberikan kerangka waktu resolusi?” , tambahkan instruksi: Jawabannya adalah Ya jika agen memberikan kerangka waktu resolusi, Tidak sebaliknya. Tidak menjelaskan setiap opsi dapat mengakibatkan AI memilih Tidak Berlaku, meskipun pertanyaannya tidak opsional.

Perjelas apakah semua atau salah satu perilaku agen tertentu diperlukan. “Agen harus menanyakan nama dan nomor telepon pelanggan” gagal jika agen meminta nama tetapi bukan nomor telepon.

Sertakan contoh untuk skenario non-standar, bukan hanya aliran panggilan standar. Jika Anda mengharapkan agen mengatakan “Biasanya dibutuhkan 3 hingga 5 hari kerja” pada panggilan standar, Anda juga harus menyertakan frasa panggilan balik seperti “Saya akan menelepon Anda kembali dalam waktu 30 menit dengan pembaruan”. Standard-flow-onlycontoh menyebabkan jawaban yang tidak konsisten pada panggilan balik, eskalasi, dan transfer.

Berikan perhatian paling besar pada pertanyaan gagal otomatis, karena satu jawaban yang gagal memengaruhi skor evaluasi keseluruhan formulir. Kasing tepi penutup dan skenario non-standar. Untuk lebih lanjut tentang mencetak gol, lihatLangkah 5: Tetapkan skor dan rentang untuk jawaban.

Jangan gunakan tanda kutip ganda kecuali Anda membutuhkan kata-kata yang tepat. Jika instruksi diperiksa"Have a nice day", AI tidak akan cocok Sem oga sore menyenangkan. Tulis sebagai gantinya:The agent wished the customer a nice day.

Jangan gunakan akronim. Eja istilah lengkapnya, misalnya “CFPB”, sehingga AI dapat menafsirkannya dengan benar.

Jangan gunakan kata benda yang tepat yang kemungkinan salah eja dalam transkrip. Nama produk seperti Klarity Pay mungkin ditranskripsikan secara berbeda, mencegah kecocokan.

Jangan gunakan pertanyaan yang samar-samar. Alih-alih “Apakah agen menggunakan bahasa yang sesuai?” , tanyakan “Apakah agen menggunakan kata-kata kotor?”.

Jangan gunakan skrip kata demi kata yang panjang. Memeriksa "Thank you for calling ABC Bank. How may I assist you?" jarang kecocokan, karena perbedaan transkripsi kecil merusak skrip lengkap.

Gunakan opsi jawaban singkat dan sederhana, seperti Ya, Tidak, dan Sebagian.

Aktifkan pengaturan Pertanyaan opsional saat pertanyaan mungkin tidak berlaku. Hal ini memungkinkan evaluator melewatkan pertanyaan atau menandainya Tidak Berlaku.

Jangan gunakan kesalahan ejaan atau karakter khusus dalam opsi jawaban, karena dapat mengurangi keakuratan jawaban AI generatif.

Jangan gunakan terlalu banyak pilihan jawaban. Untuk “Bagaimana pengalaman pelanggan?” , daftar panjang seperti Great, Good, OK, Poor, Very Poor, dan Horrible mengurangi akurasi. Gunakan serangkaian opsi berbeda yang lebih kecil sebagai gantinya.

Jangan gunakan teks panjang dalam opsi jawaban, karena model AI generatif mungkin mereproduksinya secara tidak benar.