生成 AI を使用して Connect Customer でエージェントのパフォーマンスを評価する

生成 AI を使用して、会話のトランスクリプトのみを必要とする質問に答えます。例としては、ソフトスキルに関する質問、コールフローをチェックする質問、コンプライアンスステートメントなどがあります。

複雑な質問を複数のシンプルな質問に分割します。例えば、「エージェントがアクティブリッスンをしたか？」ではなく、「エージェントが顧客の問題を初めて理解し、顧客が自分自身を繰り返す必要がなかったか？」という 2 つの質問をします。および「顧客が説明した後、エージェントは問題を要約しましたか？」。

条件付きで有効な質問を使用して、特定の状況にのみ適用される質問を有効または無効にします。たとえば、「顧客が会話中に製品を購入しましたか？」という質問が 1 つあり、その後条件付きで有効な質問「販売を完了する前にエージェントから必須料金の開示が提供されましたか？」という質問があるとします。詳細については、ステップ 4: 条件付きで質問を有効にするを参照してください。

生成 AI を使用して、会話のトランスクリプト以外の情報を必要とする質問に答えないでください。生成 AI は、画面録画の分析、CRM アプリケーションなどの内部システムやサードパーティーシステムへのアクセス、複数の連絡先間の会話の評価を行うことはできません。

生成 AI を使用して、「顧客が過度に保留されたか」などの定量化可能なアクティビティを評価しないでください。または「お客様が頻繁に中断されましたか？」。代わりに、質問タイプを数値に設定し、最長の保留期間や中断回数などのメトリクスを使用します。詳細については、ステップ 6: 自動評価を有効にするを参照してください。

複数の当事者 (別のエージェント、パートナー機関、または 2 番目の顧客) 間のやり取りを評価する質問を自動化しないでください。 Contact Lensは、一度に 2 人の参加者しか認識していません。たとえば、「プライマリアカウント所有者以外の別のユーザーが会話に参加した場合、エージェントは最初にプライマリアカウント所有者に確認してから続行しましたか？」などの質問は避けてください。

声のトーンに依存する質問をしないでください。生成 AI は、エージェントまたは顧客のトーンを判断できません。

「通話中にエージェントが注意を払ったか」など、主観的な質問には生成 AI を使用しないでください。

完全な文として質問します。「ID 検証」の代わりに、「エージェントが顧客の ID を検証しようとしましたか？」と尋ねます。

質問の評価者への指示に詳細な評価基準を追加します。「エージェントが顧客の ID を検証しようとしましたか？」には、質問に対処する前にエージェントが顧客のメンバーシップ番号と郵便番号を尋ねた場合、「はい」という指示を追加します。回答は「いいえ」です。

質問が依存するビジネス固有の用語を定義します。エージェントが挨拶で部門に名前を付ける必要がある場合は、手順に部門名の例を一覧表示します。

「エージェント」と「顧客」を一貫して使用します。「同僚」、「代表者」、「関連付け」、「メンバー」、「発信者」、「サブスクライバー」などのバリエーションは避けてください。

誰が評価されているかを明確にします。「エージェントは冒涜的な言葉の使用を避けましたか？」 は、冒涜的な行為が発生したかどうかを尋ね、顧客だけがそれを使用した場合でも「いいえ」を返します。「エージェントが冒涜的な言葉を使用しましたか？」と尋ねます。代わりに。

質問を肯定的に表現します。「エージェントがお客様に挨拶しましたか？」を使用します。「エージェントが挨拶をスキップしましたか？」ではなく。質問を積極的に表現することで、AI 評価の推論とリファレンスが向上します。

回答が適用されない場合 (該当なし) を指定します。例えば、通話が転送された場合、応答は N/A です。

評価者への指示で、AI が各回答オプションを選択するタイミングを説明します。「エージェントが解決期間を設けましたか？」には、指示を追加します。エージェントが解決期間を設けた場合は「はい」、それ以外の場合は「いいえ」です。各オプションを説明しないと、質問がオプションでなくても、AI が該当なしを選択する可能性があります。

指定されたエージェント動作のすべてまたは一部が必要かどうかを明確にします。「エージェントが名前と電話番号を尋ねた場合、エージェントは顧客の名前と電話番号を尋ねる必要があります」は失敗します。

標準コールフローだけでなく、非標準シナリオの例を含めます。エージェントが標準通話で「通常 3～5 営業日かかります」と言うことが予想される場合は、「更新して 30 分以内に折り返し電話します」などのコールバックフレーズも含める必要があります。Standard-flow-onlyの例では、コールバック、エスカレーション、転送に対する回答に一貫性がありません。

1 つの失敗回答はフォームの評価スコア全体に影響するため、自動失敗の質問に細心の注意を払ってください。エッジケースと非標準シナリオをカバーします。スコアリングの詳細については、「」を参照してくださいステップ 5: 回答にスコアと範囲を割り当てる。

正確な表現が必要でない限り、二重引用符を使用しないでください。指示が をチェックした場合"Have a nice day"、AI は一致しません。いい午後を迎えます。代わりに を書き込みますThe agent wished the customer a nice day。

頭字語は使用しないでください。AI が正しく解釈できるように、「CFPB」など、完全な用語をスペルアウトします。

トランスクリプトでスペルミスの可能性が高い適切な名詞を使用しないでください。Klarity Pay などの製品名は異なる文字起こしが可能であり、一致を防ぐことができます。

あいまいな質問は使用しないでください。「エージェントが適切な言語を使用しましたか？」の代わりに、「エージェントが冒涜的表現を使用しましたか？」と尋ねます。

長い逐語的なスクリプトは使用しないでください。わずかな文字起こしの違いによってスクリプト全体が破損するため、"Thank you for calling ABC Bank. How may I assist you?"ほとんど一致しないことを確認します。

Yes、No、Partial などのシンプルで短い回答オプションを使用します。

質問が適用されない可能性がある場合は、オプションの質問設定を有効にします。これにより、評価者は質問をスキップしたり、該当なしとマークしたりできます。

生成 AI 回答の精度が低下する可能性があるため、回答オプションにスペルエラーや特殊文字を使用しないでください。

回答オプションを多すぎないでください。「カスタマーエクスペリエンスはどうだったか？」の場合、Great、Good、OK、Poor、Very Poor、Horrible などの長いリストは精度を低下させます。代わりに、より小さな個別のオプションのセットを使用します。

生成 AI モデルが誤って再現する可能性があるため、回答オプションに長いテキストを使用しないでください。