翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# 生成 AI を使用して Connect Customer でエージェントのパフォーマンスを評価する
**注記**
**Amazon Bedrock を利用**: 自動不正検出 AWS を実装します。会話分析の生成 AI 機能は Amazon Bedrock 上に構築されているため、ユーザーは Amazon Bedrock に実装されているコントロールを最大限に活用して、安全性、セキュリティ、人工知能 (AI) の責任ある使用を強制できます。
マネージャーは評価基準を自然言語で指定し、生成 AI を使用して顧客対応の評価を最大 100% 自動化できます。生成 AI を使用すると、追加のエージェント動作 (エージェントが顧客の問題を解決できたかなど) の評価を自動化できます。これにより、マネージャーは、エージェントのパフォーマンスの評価に費やす時間を短縮しながら、規制コンプライアンス、品質標準へのエージェントの準拠、機密データ収集を包括的にモニタリングして改善できます。回答に加えて、コンテキストや根拠、およびエージェントにコーチングを提供するために使用できるトランスクリプトの特定のポイントへの参照も提供されます。
生成 AI を使用することで、マネージャーは評価の入力が容易になり、さらに評価を自動的に入力して送信することも可能になります。自動評価の設定の詳細については、「[ステップ 6: 自動評価を有効にする](create-evaluation-forms.md#step-automate)」を参照してください。
評価質問に対する回答は、生成 AI が質問のタイトルと、評価者向けの手順内で指定された各質問に関連する基準を解釈し、それらを使って会話のトランスクリプトを分析することで提供されます。詳細については、「[ステップ 2: セクションと質問を追加する](create-evaluation-forms.md#step-sections)」を参照してください。
## 生成 AI を使用して評価を自動化するプロセス
自動化プロセスの概要を次に示します。
1. 「[生成 AI の精度を向上させるためのガイドライン](#guidelines-to-improve-generative-ai-accuracy)」を読んで、生成 AI を使って回答できる評価質問について大まかに理解してください。
1. 品質管理チーム内の特定のユーザーに、AI アシスタントにたずねるためのアクセス許可を割り当てます。これらのユーザーが評価を実施する際には、各質問の横に [AI にたずねる] ボタンが表示され、これを使用して推奨される回答を取得できます。これらのユーザーは、どの質問が生成 AI を用いて正確な回答を受け取っているかについて、フィードバックを提供できます。詳細については、「[パフォーマンス評価とコーチングにセキュリティプロファイルのアクセス許可を割り当てる](evaluation-and-coaching-permissions.md)」を参照してください。
1. 精度を高めるために、[評価者向けの手順](create-evaluation-forms.md#step-sections)で追加の評価基準を指定できます。詳細については、「[生成 AI の精度を向上させるためのガイドライン](#guidelines-to-improve-generative-ai-accuracy)」を参照してください。
1. 生成 AI でどの質問に正確に回答できるかを十分に理解したら、質問が生成 AI を使用して自動回答を受け取るかどうか、評価フォームで事前設定することで、より広範なロールアウトを行うことができます。
1. 自動化を設定すると、評価フォームを使用して評価を実行するすべてのユーザーは、事前設定された質問に対する自動生成 AI 回答を取得します (追加のアクセス許可は必要ありません）。詳細については、「[ステップ 6: 自動評価を有効にする](create-evaluation-forms.md#step-automate)」を参照してください。
1. 評価者が生成 AI の回答を確認してから送信するようにオートメーションを設定できます。または、評価を自動的に入力して送信することもできます。
**注記**
AI 生成の評価は 100% 正確ではありません。AI 出力を処理する前に (報酬の提供、エージェントのコーチングなど）、評価のサンプルを確認することをお勧めします。これにより、AI が提供するパフォーマンスの傾向を確認できます。AI が入力した評価を上書きし、エージェントと共有したり、パフォーマンスレビューに使用したりする前に修正を加えることができます。また、手動評価プロセスを維持することをお勧めします。これにより、AI で満たされた評価とマネージャーで満たされた評価の経時的なずれをキャッチできます。
**生成 AI を活用したパフォーマンス評価の制限**
文字起こしの精度は、生成 AI を活用した評価の精度に影響します。 は、複数の言語を含む会話を正確に文字起こしConversational analyticsすることはできません。また、複数の当事者が同時に話す会話を正確に書き起こすことはできません。例としては、電話会議、ウォーム転送、エージェントがサードパーティーを追加する通話などがあります。どちらのシナリオでも、生成 AI を活用したパフォーマンス評価の精度が低下します。
ルールを使用して、特定のキューでの会話など、これらのシナリオが発生すると予想される会話を除外できます。詳細については、「[自動評価を送信する会話分析でルールを作成する](contact-lens-rules-submit-automated-evaluation.md)」を参照してください。
## [AI にたずねる] を使用して生成 AI で推奨される回答を取得する
1. 評価を実行し、[AI アシスタントに依頼](evaluation-and-coaching-permissions.md)する権限を持つユーザーアカウントを使用して Connect Customer にログインします。 [パフォーマンス評価とコーチングにセキュリティプロファイルのアクセス許可を割り当てる](evaluation-and-coaching-permissions.md)
1. 質問の下にある **[AI に聞く]** ボタンを選択すると、コンテキストと根拠 (回答の提供に使用されたトランスクリプトの参照ポイント) とともに、生成 AI を活用した推奨する回答が表示されます。
1. 回答は生成 AI レコメンデーションに基づいて自動的に選択されますが、変更できます。
1. 生成 AI を活用したレコメンデーションを取得するには、問い合わせごとに最大 10 個の質問について **AI に**尋ねるを選択します。詳細については、「[会話分析サービスクォータ](amazon-connect-service-limits.md#contactlens-quotas)」を参照してください。
1. 参照したトランスクリプトに関連付けられた時間を選択すると、会話のポイントに誘導されます。
## 生成 AI を使用して評価フォームの質問に回答するための追加の基準を提供する
評価フォームを設定する際、各評価フォームの質問に関連付けられた**評価者向けの手順**内に、質問に回答するための基準を提供することができます。これらの指示は、評価者による評価の一貫性を高めるだけでなく、生成 AI を活用した評価を提供するためにも使用されます。
**AI 回答のマッピングとスコアリング**
AI が提供された回答オプションのうちどれが適切かを特定できない場合は、質問がオプションでなくても、**該当**なしを選択します。この場合、質問はスコアリングから除外され、重みは他の質問に再分散されます。これを回避するには、質問**の評価者への指示**で各回答オプションを明確に説明してください。詳細については、「[生成 AI の精度を向上させるためのガイドライン](#guidelines-to-improve-generative-ai-accuracy)」を参照してください。
## 評価フォームで生成 AI を使用した自動評価を設定する
生成 AI を使用して質問に自動的に回答するかどうかは、評価フォームで事前設定できます。次に、Connect Customer UI の評価フォームを使用して評価を開始すると、これらの質問に対する回答は生成 AI を使用して自動的に入力されます (Ask AI を選択する必要はありません）。また、生成 AI を使用して評価を自動的に入力し、送信することもできます。自動的に送信される評価については、コンタクトごとに最大 10 の質問に生成 AI を使用して回答できます (「[会話分析サービスクォータ](amazon-connect-service-limits.md#contactlens-quotas)」を参照)。この制限は、問い合わせカテゴリまたはメトリクス (最長の保留期間など) を使用したオートメーションには適用されません。
生成 AI を使用した自動評価の設定の詳細については、「[生成 AI の精度を向上させるためのガイドライン](#guidelines-to-improve-generative-ai-accuracy)」を参照してください。
## 英語以外の言語で生成 AI を活用した評価を設定する
デフォルトでは、評価フォームの言語を設定しない場合、AI モデルがその言語を理解していれば、生成 AI モデルは評価フォームの質問の言語を自動的に検出し、同じ言語で回答を提供しようとします。デフォルトでは、生成 AI 回答の根拠は通常英語で提供されます。
任意の言語で AI が生成した回答と回答の根拠の両方を一貫して受け取るには、**英語**、**スペイン語**、**ポルトガル語**、**フランス語**、**ドイツ語**、**イタリア**語、**中国語**、**日本語**、**韓国**語、**マレー**語から選択して、評価フォームの言語を設定できます。評価の言語を明示的に設定することで、会話のトランスクリプトが別の言語である場合でも、生成 AI が評価フォームを英語で入力するクロス言語評価を実行することもできます。たとえば、スペイン語です。これにより、多言語コンタクトセンターは、言語間で標準化された評価フレームワークを使用できます。
評価フォームの言語を設定するには:
1. 評価フォームを作成または更新するときに、**追加設定**タブを選択します。
1. ドロップダウンから**フォーム言語**を選択します。
1. 最適な AI パフォーマンスを実現するために、フォームの質問、指示、回答の選択肢が選択した**フォーム**言語と同じ言語であることを確認します。
## 生成 AI の精度を向上させるためのガイドライン
### 生成 AI が回答する質問の選択
**Dos**
+ 生成 AI を使用して、会話のトランスクリプトのみを必要とする質問に答えます。例としては、ソフトスキルに関する質問、コールフローをチェックする質問、コンプライアンスステートメントなどがあります。
+ 複雑な質問を複数のシンプルな質問に分割します。例えば、「エージェントがアクティブリスニングをしたか？」ではなく、「エージェントが顧客の問題を初めて理解したが、顧客が繰り返しをする必要がなかったか？」という 2 つの質問をします。および「お客様が説明した後、エージェントは問題を要約しましたか？」。
+ 条件付きで有効な質問を使用して、特定の状況にのみ適用される質問を有効または無効にします。たとえば、「顧客が会話中に製品を購入しましたか？」という質問が 1 つあり、その後条件付きで有効な質問「販売を完了する前にエージェントが必須料金の開示を提供しましたか？」という質問があるとします。詳細については、[ステップ 4: 条件付きで質問を有効にする](create-evaluation-forms.md#step-conditionally-enable-questions)を参照してください。
**非推奨事項**
+ 生成 AI を使用して、会話のトランスクリプト以外の情報を必要とする質問に答えないでください。生成 AI は、画面録画の分析、CRM アプリケーションなどの内部システムやサードパーティーシステムへのアクセス、複数の連絡先間の会話の評価を行うことはできません。
+ 生成 AI を使用して、「顧客が過度に保留されたか」などの定量化可能なアクティビティを評価しないでください。または「お客様が頻繁に中断されましたか？」。代わりに、質問タイプを**数値**に設定し、最長の保留期間や中断回数などのメトリクスを使用します。詳細については、[ステップ 6: 自動評価を有効にする](create-evaluation-forms.md#step-automate)を参照してください。
+ 複数の当事者 (別のエージェント、パートナー機関、または 2 番目の顧客) 間のやり取りを評価する質問を自動化しないでください。会話分析は、一度に 2 人の参加者のみを認識します。たとえば、「プライマリアカウント所有者以外の他のユーザーが会話に参加した場合、エージェントは最初にプライマリアカウント所有者に確認してから続行しましたか？」などの質問は避けてください。
+ 声のトーンに依存する質問をしないでください。生成 AI は、エージェントまたは顧客のトーンを判断できません。
+ 生成 AI は、「通話中にエージェントが注意しましたか？」など、主観的な質問には使用しないでください。
### 質問と関連する指示の表現の改善
**Dos**
+ 完全な文として質問します。「ID 検証」の代わりに、「エージェントが顧客の ID を検証しようとしましたか？」と尋ねます。
+ 質問の**評価者への指示**に詳細な評価基準を追加します。「エージェントが顧客の ID を検証しようとしましたか？」には、*質問に対処する前にエージェントが顧客のメンバーシップ番号と郵便番号を尋ねた場合、「はい」という指示を追加します。回答は「いいえ」です。*
+ 質問が依存するビジネス固有の用語を定義します。エージェントが挨拶で部門に名前を付ける必要がある場合は、手順に部門名の例を一覧表示します。
+ 「エージェント」と「顧客」を一貫して使用します。「同僚」、「代表者」、「関連付け」、「メンバー」、「発信者」、「サブスクライバー」などのバリエーションは避けてください。
+ 誰が評価されているかを明確にします。「エージェントは冒涜的な言葉の使用を避けましたか？」 は、冒涜的な行為が発生したかどうかを尋ね、顧客だけがそれを使用した場合でも「いいえ」を返します。「エージェントが冒涜的な言葉を使用しましたか？」と尋ねます。代わりに。
+ 質問を肯定的に表現します。「エージェントがお客様に挨拶しましたか？」を使用します。「エージェントが挨拶をスキップしましたか？」ではなく。質問を積極的に表現することで、AI 評価の推論とリファレンスが向上します。
+ 回答**が該当なし** (N/A) の場合に指定します。例えば、*通話が転送された場合、応答は N/A です。*
+ **評価者への指示で**、AI が各回答オプションを選択するタイミングを説明します。「エージェントが解決期間を設けましたか？」には、指示を追加します。*エージェントが解決期間を設けた場合は「はい」、それ以外の場合は「いいえ」です。*各オプションを説明しない場合、質問がオプションでなくても、AI **が該当**なしを選択する可能性があります。
+ 指定されたエージェント動作のすべてまたは一部が必要かどうかを明確にします。「エージェントが名前と電話番号を尋ねた場合、エージェントは顧客の名前と電話番号を尋ねる必要があります」は失敗します。
+ 標準コールフローだけでなく、非標準シナリオの例を含めます。エージェントが標準通話で「通常 3～5 営業日かかります」と言うことが予想される場合は、「更新して 30 分以内に折り返し電話します」などのコールバックフレーズも含める必要があります。Standard-flow-onlyの例では、コールバック、エスカレーション、転送に対する回答に一貫性がありません。
+ 1 つの失敗回答はフォームの評価スコア全体に影響するため、自動失敗の質問に細心の注意を払ってください。エッジケースと非標準シナリオをカバーします。スコアリングの詳細については、「」を参照してください[ステップ 5: 回答にスコアと範囲を割り当てる](create-evaluation-forms.md#step-assignscores)。
**非推奨事項**
+ 正確な表現が必要でない限り、二重引用符を使用しないでください。指示が をチェックした場合`"Have a nice day"`、AI は*「Hake a nice afternoon*」と一致しません。代わりに を書き込みます`The agent wished the customer a nice day`。
+ 頭字語は使用しないでください。AI が正しく解釈できるように、「CFPB」など、完全な用語をスペルアウトします。
+ トランスクリプトでスペルミスの可能性が高い適切な名詞を使用しないでください。*Klarity Pay* などの製品名は、異なる文字起こしが行われ、一致が妨げられる可能性があります。
+ あいまいな質問は使用しないでください。「エージェントが適切な言語を使用しましたか？」の代わりに、「エージェントが冒涜的表現を使用しましたか？」と尋ねます。
+ 長い逐語的なスクリプトは使用しないでください。わずかな文字起こしの違いによってスクリプト全体が破損するため、`"Thank you for calling ABC Bank. How may I assist you?"`ほとんど一致しないことを確認します。
### 回答オプションの改善
**Dos**
+ **Yes**、**No**、**Partial** などのシンプルで短い回答オプションを使用します。
+ 質問が適用されない可能性がある場合は、**オプションの**質問設定を有効にします。これにより、評価者は質問をスキップしたり**、該当なし**とマークしたりできます。
**非推奨事項**
+ 生成 AI 回答の精度が低下する可能性があるため、回答オプションにスペルエラーや特殊文字を使用しないでください。
+ 回答オプションを多すぎないでください。「カスタマーエクスペリエンスはいかがでしたか？」の場合、Great、Good、OK、Poor、Very Poor、Horrible などの長いリストは精度を低下させます。代わりに、より小さな個別のオプションのセットを使用します。
+ 生成 AI モデルが誤って再現する可能性があるため、回答オプションに長いテキストを使用しないでください。
### ガイドラインに従った実装例
次の例は、これらのガイドラインに従う生成 AI が回答した質問を示しています。質問タイトルは完全な文で、評価者が各回答オプションを定義し、該当なしシナリオを説明する手順と回答オプションは短いです。
