Mengevaluasi kinerja agen di Connect Customer menggunakan AI generatif

Gunakan AI generatif untuk menjawab pertanyaan yang hanya membutuhkan transkrip percakapan. Contohnya adalah pertanyaan tentang soft skill, pertanyaan yang memeriksa alur panggilan, atau pernyataan kepatuhan, antara lain.

Pisahkan pertanyaan kompleks menjadi beberapa pertanyaan yang lebih sederhana. Misalnya, alih-alih “Apakah agen menunjukkan pendengaran aktif?” , ajukan dua pertanyaan: “Apakah agen memahami masalah pelanggan pertama kali, tanpa pelanggan perlu mengulanginya sendiri?” dan “Apakah agen meringkas masalah setelah pelanggan menjelaskannya?”.

Gunakan pertanyaan yang diaktifkan secara kondisional untuk mengaktifkan atau menonaktifkan pertanyaan yang hanya berlaku dalam situasi tertentu. Misalnya, Anda mungkin memiliki satu pertanyaan, “Apakah pelanggan membeli produk selama percakapan?” , dan pertanyaan bersyarat berikutnya, “Apakah agen memberikan pengungkapan biaya wajib sebelum menyelesaikan penjualan?”. Untuk detail selengkapnya, lihat Langkah 4: Aktifkan pertanyaan secara kondisional.

Jangan gunakan AI generatif untuk menjawab pertanyaan yang membutuhkan informasi di luar transkrip percakapan. AI generatif tidak dapat menganalisis rekaman layar, mengakses sistem internal atau pihak ketiga Anda seperti aplikasi CRM, atau mengevaluasi percakapan di beberapa kontak.

Jangan gunakan AI generatif untuk mengevaluasi aktivitas yang dapat diukur seperti “Apakah pelanggan ditahan secara berlebihan?” atau “Apakah pelanggan sering terganggu?”. Sebagai gantinya, tetapkan jenis pertanyaan ke Angka dan gunakan metrik seperti durasi penahanan terpanjang atau jumlah interupsi. Untuk detail selengkapnya, lihat Langkah 6: Aktifkan evaluasi otomatis.

Jangan mengotomatiskan pertanyaan yang menilai interaksi antara banyak pihak (agen lain, lembaga mitra, atau pelanggan kedua). Contact Lensmenyadari hanya dua peserta pada waktu tertentu. Misalnya, hindari pertanyaan seperti “Jika orang lain selain pemegang akun utama bergabung dalam percakapan, apakah agen terlebih dahulu mengonfirmasi dengan pemegang akun utama sebelum melanjutkan?”.

Jangan mengajukan pertanyaan yang bergantung pada nada suara. AI generatif tidak dapat menentukan nada agen atau pelanggan.

Jangan gunakan AI generatif untuk pertanyaan yang sangat subjektif, seperti “Apakah agen penuh perhatian selama panggilan?”.

Pertanyaan kata sebagai kalimat lengkap. Alih-alih “validasi ID”, tanyakan “Apakah agen mencoba memvalidasi identitas pelanggan?”.

Tambahkan kriteria evaluasi terperinci dalam Instruksi kepada evaluator untuk pertanyaan tersebut. Untuk “Apakah agen mencoba memvalidasi identitas pelanggan?” , tambahkan instruksi: Jawabannya adalah Ya jika agen meminta nomor keanggotaan pelanggan dan kode pos sebelum menjawab pertanyaan mereka. Jawabannya adalah Tidak sebaliknya.

Tentukan istilah-istilah khusus bisnis yang tergantung pada pertanyaannya. Jika agen harus memberi nama departemen dalam salam, cantumkan contoh nama departemen dalam instruksi.

Gunakan “agen” dan “pelanggan” secara konsisten. Hindari variasi seperti “kolega”, “perwakilan”, atau “rekan”, dan “anggota”, “penelepon”, atau “pelanggan”.

Jelaskan siapa yang sedang dievaluasi. “Apakah agen menghindari penggunaan kata-kata kotor?” dapat dibaca sebagai menanyakan apakah kata-kata kotor terjadi di mana saja, mengembalikan “Tidak” bahkan ketika hanya pelanggan yang menggunakannya. Tanyakan “Apakah agen menggunakan kata-kata kotor?” sebagai gantinya.

Frasa pertanyaan secara positif. Gunakan “Apakah agen menyapa pelanggan?” daripada “Apakah agen melewatkan salam?”. Mengucapkan pertanyaan secara positif memberikan AI-evaluation alasan dan referensi yang lebih baik.

Tentukan kapan jawabannya Tidak Berlaku (N/A). Misalnya: Jawabannya adalah N/A jika panggilan menghasilkan transfer.

Dalam Instruksi kepada evaluator, jelaskan kapan AI harus memilih setiap opsi jawaban. Untuk “Apakah agen memberikan kerangka waktu resolusi?” , tambahkan instruksi: Jawabannya adalah Ya jika agen memberikan jangka waktu resolusi, Tidak sebaliknya. Tidak menjelaskan setiap opsi dapat mengakibatkan AI memilih Tidak Berlaku, meskipun pertanyaannya tidak opsional.

Memperjelas apakah semua atau salah satu perilaku agen yang ditentukan diperlukan. “Agen harus menanyakan nama dan nomor telepon pelanggan” gagal jika agen meminta nama tetapi bukan nomor teleponnya.

Sertakan contoh untuk skenario non-standar, bukan hanya alur panggilan standar. Jika Anda mengharapkan agen untuk mengatakan “Biasanya dibutuhkan 3 hingga 5 hari kerja” pada panggilan standar, Anda juga harus menyertakan frasa panggilan balik seperti “Saya akan menelepon Anda kembali dalam waktu 30 menit dengan pembaruan”. Standard-flow-onlycontoh menyebabkan jawaban yang tidak konsisten pada panggilan balik, eskalasi, dan transfer.

Berikan pertanyaan gagal otomatis paling banyak perhatian, karena satu jawaban yang gagal memengaruhi skor evaluasi seluruh formulir. Cover edge case dan skenario non-standar. Untuk informasi lebih lanjut tentang penilaian, lihatLangkah 5: Tetapkan skor dan rentang untuk jawaban.

Jangan gunakan tanda kutip ganda kecuali Anda membutuhkan kata-kata yang tepat. Jika instruksi diperiksa"Have a nice day", AI tidak akan cocok Selamat sore. Tulis sebagai gantinya:The agent wished the customer a nice day.

Jangan gunakan akronim. Sebutkan istilah lengkapnya, misalnya “CFPB”, sehingga AI dapat menafsirkannya dengan benar.

Jangan gunakan kata benda yang tepat yang mungkin salah eja dalam transkrip. Nama produk seperti Klarity Pay dapat ditranskripsikan secara berbeda, mencegah kecocokan.

Jangan gunakan pertanyaan yang tidak jelas. Alih-alih “Apakah agen menggunakan bahasa yang sesuai?” , tanyakan “Apakah agen menggunakan kata-kata kotor?”.

Jangan gunakan skrip kata demi kata yang panjang. Memeriksa "Thank you for calling ABC Bank. How may I assist you?" jarang cocok, karena perbedaan transkripsi kecil merusak skrip lengkap.

Gunakan opsi jawaban sederhana dan singkat, seperti Ya, Tidak, dan Sebagian.

Aktifkan setelan pertanyaan Opsional saat pertanyaan mungkin tidak berlaku. Hal ini memungkinkan evaluator melewatkan pertanyaan atau menandainya Tidak Berlaku.

Jangan gunakan kesalahan ejaan atau karakter khusus dalam opsi jawaban, karena dapat mengurangi keakuratan jawaban AI generatif.

Jangan gunakan terlalu banyak pilihan jawaban. Untuk “Bagaimana pengalaman pelanggan?” , daftar panjang seperti Great, Good, OK, Poor, Very Poor, and Horrible mengurangi akurasi. Gunakan serangkaian opsi berbeda yang lebih kecil sebagai gantinya.

Jangan gunakan teks panjang dalam opsi jawaban, karena model AI generatif mungkin mereproduksinya secara tidak benar.