View a markdown version of this page

在 “连接客户” 中创建评估表 - Amazon Connect Customer

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 “连接客户” 中创建评估表

在 “连接客户” 中,您可以创建许多不同的评估表。例如,对于每个业务部门和不同的队列,您可能需要不同的评估表。您还可以创建不同的评估表来评估代理互动以及与 Lex 机器人或 AI 代理的自助互动。

每个表单可以包含多个分区和问题。

  • 您可以为每个问题和部分分配权重,以表明其分数对评估表总分的影响程度。

  • 您可以在每个问题上配置自动化,以便利用 对话分析的洞见和指标自动填写这些问题的答案。

本主题介绍如何使用 Connect Customer 管理员网站创建表单和配置自动化。要以编程方式创建和管理表单,请参阅《连接客户 API 参考中的评估操作。

在开始之前,请确保您拥有所需的安全配置文件权限。有关更多信息,请参阅 为绩效评估和指导分配安全配置文件权限

步骤 1:创建带标题的评估表

以下步骤说明了如何创建或复制评估表和设置标题。

  1. 使用具有以下安全配置文件权限的用户帐户登录 “连接客户”:分析和优化 - 评估表单-管理表单定义 - 创建

  2. 选择分析和优化,然后选择评估表

  3. 评估表页面上,选择创建新表单

    —或者—

    选择现有表单,然后选择复制

  4. 输入表单的标题,例如销售评估,或更改现有标题。向表单中添加任何标签以控制对表单的访问权限(请参阅在绩效评估中设置基于标签的访问控制)完成后,选择确定。

    “评估表”页面,“设置表单标题”分区。

    评估表页面顶部有以下选项卡:

    • 分区和问题。在表单中添加分区、问题和答案。

    • 评分。在表单上启用评分。您也可以对分区和问题应用评分。

  5. 创建表单时可随时选择保存。保存后,您可以离开页面,稍后返回表单。

  6. 继续执行下一步,以添加分区和问题。

从另一个实例导入评估表

您可以从一个 Connect Customer 实例(例如测试实例)导出评估表,然后将其导入另一个实例(例如生产实例)。

从 JSON 导入评估表
  1. 查看现有评估表时,选择操作导出为 JSON

    评估表单页面,导出为 json 操作。
  2. 打开要导入此表单的实例。

  3. 在 “评估表” 页面上,选择 “导入表单” 。选择 “选择文件” 上传之前导出的 JSON,然后选择 “导入”

    评估表单页面,导入表单操作。

创建的表单包括问题、说明、答案、评分和自动化配置。 Instance-specific 导出的文件中不存在规则类别和标签等设置。

使用 AI 从 PDF 导入评估表

您可以通过上传 PDF 从任何质量管理系统导入评估表。Connect Customer 使用 AI 从 PDF 中提取章节、问题、答案选项和评分,并创建评估表草稿供您查看和编辑。

从 PDF 导入评估表
  1. 评估表单页面上,选择导入表单,然后选择从 PDF

    下图显示了带有 来自 PDF” 选项的 “导入表单” 菜单。

    评估表单页面显示了 “导入表单” 按钮,其中突出显示了 “来自 PDF” 菜单选项。
  2. 在 “使用 AI 导入评估表” 对话框中:

    • 评估表 PDF — 选择一个 PDF 文件(最大 2 MB)。

    • 计分方法 -选择Points-basedPercentage-based、或不计分

    • 说明(可选)-提供背景信息以指导提取,例如:“此表单适用于对外销售电话。专注于追加销售问题。”

    “使用 AI 导入评估表” 对话框,显示评估表 PDF、评分方法和说明的字段。
  3. 选择导入。导入通常在一分钟内完成。

  4. 导入完成后,表单将显示为草稿。将其打开,查看章节、问题和评分是否正确提取。

  5. 根据需要编辑表单,然后将其激活。

步骤 2:添加分区和问题

  1. 例如,在分区和问题选项卡上,为第 1 个分区问候添加标题。

    “评估表”页面,“分区和队列”选项卡。
  2. 选择添加问题以添加问题。

  3. 问题标题框中,输入将显示在评估表中的问题。例如,座席有没有说出其姓名并说他们是来帮忙的?

    “评估表”页面,“问题标题”框。
  4. 评估人员说明框中,添加有助于评估人员或生成式人工智能回答问题的信息。

    例如,对于代理是否尝试验证客户身份的问题?您可以提供其他说明,例如,在解决客户的问题之前,代理必须始终向客户询问其会员身份和邮政编码

  5. 问题类型框中,选择下列选项之一,以显示在表单上:

    • 单选:评估人员可以从选项列表中进行选择,例如,或一般

    • 多项选择:评估人员可以从选项列表中选择多个答案,例如客户有兴趣购买的产品清单或不合规的代理行为。

    • 文本字段:评估人员可以输入自由格式的文本。

    • 数字:评估人员可以输入您指定范围内的数字,例如 1-10。

    • 日期:评估者可以选择日期作为答案。

  6. 继续执行下一步以添加答案。

步骤 3:添加答案

  1. 答案选项卡上,添加要向评估人员显示的答案选项,例如

  2. 要添加更多答案,请选择添加选项

    下图显示了单选问题的示例答案。

    “答案”选项卡,“添加选项”命令。

    下图显示了数字问题的答案范围。

    “答案”选项卡,最小值和最大值框。
  3. 您也可以将问题标记为可选项。这使得经理们在进行评估时可以跳过该问题(或将其标记为不适用)。

    将问题标记为“不适用”的选项。

步骤 4:有条件地启用问题

根据对其他问题的答案,评估表可以包含有条件地启用或禁用的问题。例如,您可以将后续问题配置为仅在需要时才出现在表单中。

  1. 选择需要后续问题的问题。问题类型必须为 “单选” 或 “多选”,并且不能是可选问题(不要选中 “可选问题” 复选框)。

    例如,在下图中,问题 1.1 是打电话的原因是什么?并且可选问题复选框未被选中。

    问题类型为单选并且可选问题复选框未选中。
  2. 添加后续问题,并且现在选中可选问题复选框。

    在下图中,后续问题是问题 1.2 座席是否检查了客户是否尝试在线注册新账户?并且选中可选问题复选框。

    一个后续问题,并且选中“可选问题”复选框。
  3. 选择有条件地启用问题选项卡,然后打开有条件的问题。下图显示该切换。

    “有条件地启用问题”选项卡,“有条件的问题”切换。
  4. 仅当问题 1.1 打电话的原因是什么?的回答是新账户注册,才配置启用后续问题。这些选项如下图所示。

    有条件的问题是“其他”中的一个。

    使用此配置,仅当打电话的原因是什么?的回答是新账户注册时,后续问题座席是否检查了客户是否尝试在线注册新账户?才会动态添加到表单。在所有其他情况下,该问题都不会出现在表单中,也就不需要回答。

  5. 要验证此配置是否按预期工作,请使用预览操作。

创建有条件的问题时,请记住以下几点:

  • 当问题被有条件地启用时,它默认处于禁用状态。

  • 当问题被有条件地禁用时,它默认处于启用状态。

  • 您只能使用单选题多选题来有条件地启用或禁用其他问题。该问题不能是可选的。

  • 您可以选择一个或多个答案选项来触发有条件的问题的条件。

注意

如果对有条件启用的问题启用了生成式 AI-powered 自动化,则在该问题上使用生成式 AI 将计入可使用生成式 AI 对联系人进行评估的问题使用限制。即使问题被有条件地禁用,也计入使用限制。

有关在一个联系上可以使用生成式人工智能自动回答的评估问题数量的默认限制,请参阅 对话分析服务配额

第 5 步:为答案分配分数和范围

  1. 转到表单的顶部。选择评分选项卡,然后选择启用评分复选框。

    “评估表”页面,“评分”选项卡,“启用评分”复选框。

    这样就可以对整个表单进行评分。您还可以使用它来添加数字问题类型的答案范围。

  2. 对于计分模式,请选择以下选项之一:

    • 百分比 -使用加权部分或问题以百分比形式计算分数。

    • Point-based— 使用分配给答案选项的分数计算分数。

    重要

    我们建议创建一个新的评估表,而不是在现有表单上切换评分模式。更改评分模式会重置所有先前配置的评分值,并且无法将使用先前评分模式完成的历史评估与使用新模式的评估直接进行比较。

    评分方法部分显示百分比和 Point-based选项。

第 5.1 步: Percentage-based 得分

如果您选择了百分比评分模式,请按照以下步骤为评估表配置评分。

  1. 返回到分区和问题选项卡。您可以为单选题多选题分配分,并为数字问题类型添加范围。

    “分区和问题”选项卡,特定于问题的“评分”选项卡。
  2. 当创建数字类型问题时,在评分选项卡上,选择添加范围以输入值的范围。指明答案从最差到最佳的分数。

    下图显示了数字问题类型的范围和评分的示例。

    特定于问题的“评分”选项卡,答案范围。
    • 如果座席打断客户 0 次,则他们将获得 10 分(最佳)。

    • 如果座席打断客户 1-4 次,则他们将获得 5 分。

    • 如果座席打断客户 5-10 次,则他们将获得 1 分(最差)。

  3. 对于多选题,为每个选项分配一个分数值 (0-10)。选择多个选项时,总分是所选选项分数的总和,上限为 10。

  4. (可选)为答案选项配置 “自动失败”。您可以选择对该部分、子部分或整个表单应用自动失败。当评估者在评估期间选择此答案时,受影响范围的分数将设置为零。

    “自动失败”选项。
  5. (可选)将单个问题或整个部分排除在评分范围之外。当问题或章节被排除在外时,系统会自动为其分配权重为 0%,这与不可评分的问题类似。剩余的权重将重新分配给其他计分项目。

    百分比评分模式显示权重为 0% 的排除问题。
  6. 为所有答案分配分数后,选择保存

使用多选问题更新现有表单

如果您现有的评估表是在添加评分支持之前使用多选问题创建的,则在创建新版本或激活表单时会出现验证错误。要解决此问题,请按照以下步骤操作:

  1. 打开评估表并导航至多选题。

  2. 为问题选择 评分” 选项卡。

  3. 请执行以下操作之一:

    • 为每个答案选项分配分数值 (0-10),或

    • 选中 “从评分中排除” 复选框将问题从评分计算中移除。

  4. 选择 “保存”,然后激活表单。

第 5.2 步: Point-based 得分

如果您选择Point-based了评分模式,请按照以下步骤为评估表配置评分。

  1. 返回到分区和问题选项卡。对于每个问题,选择评分选项卡并为每个答案选项分配分值。分值的范围可以介于 0 到 100 之间

    下图显示了分配给单选题的分值示例。

    带有分值(0 到 100)的单选题的 “评分” 选项卡。
  2. 对于数字类型问题,选择添加范围以定义答案范围并为每个范围分配分值。

    分值分配给范围的数字问题的 “评分” 选项卡。
  3. 对于多选题,为每个选项分配分值。当选择多个选项时,将对它们的点值求和。(可选)选择 “设置上限” 以配置问题的最大分值上限。

    包含分值和设置上限选项的多选题的 “评分” 选项卡。
  4. (可选)配置奖励选项或奖励问题。使用奖励积分,您可以在不增加最大可能分数的情况下奖励额外的积分。

    • 奖励选项 — 个人答案选项,在问题的最大基本分数之上奖励额外分数。选择奖励选项时,获得的分数可能会超过问题的正常最大分数。仅单选题和数字问题支持奖励选项。

    • 奖励问题 — 不影响最大分数的完整问题。从奖励问题中获得的分数将添加到总分中,但该问题的最大分数不计入基本总分中。奖励问题不能有自动失败选项。

    评分选项卡显示答案选项的 “奖励” 复选框。
    显示 “奖金” 问题复选框的 “评分” 选项卡。
  5. (可选)配置自动失败。如果在评估期间选择了自动失败选项,则受影响范围的分数将设置为零。您可以选择对部分整个表单应用自动失败。单选题、数字问题和多选题支持自动失败。奖励问题和奖励选项不能自动失败。

    带范围选择功能的 “自动失败” 选项。
  6. (可选)将单个问题或整个部分排除在评分范围之外。排除的项目不计入总分或可能的最大分数。

    问题上的 “从评分中排除” 复选框。
  7. 为所有答案分配分数后,选择保存

  8. 完成分数分配后,继续执行下一步以自动回答某些问题,或者继续预览评估表

步骤 5.3:分配性能阈值

使用绩效阈值,您可以根据分数阈值将评估结果分为 “需求改进” 或 “超出预期” 等类别。基于百分比和基于分数的评分模式均支持此功能。

您可以在表单级别、章节级别或问题级别配置绩效阈值。

性能阈值不是继承的。如果您在表单级别设置阈值,则这些阈值仅适用于表单的总体分数。章节和问题不会自动继承表单级别的阈值。必须在要应用阈值的每个级别明确配置阈值。

包含阈值设置的绩效类别部分。

第 6 步:启用自动评估

使用 Connect Customer,您可以自动回答评估表中的问题(例如,代理是否遵守问候语脚本?)使用对话分析的见解和指标。自动化可用于:

  • 协助评估人员进行绩效评估:评估人员在进行评估时会自动收到评估表上问题的答案。评估人员可以在提交之前修改自动化答案。

  • 自动填写和提交评估:管理员可以配置评估表以自动回复评估表中的所有问题,并自动为高达 100% 的客户互动提交评估。评估人员可以编辑和重新提交评估(如果需要)。

自动化方式因评估代理交互还是自动交互(例如,与 Lex 机器人或 AI 代理交互时的自助服务)而异。您可以在 “联系人互动类型” 下选择 “其他设置”,在代理和自动交互之间进行选择

无论是为了协助评估人员,还是为了自动提交评估,您都需要首先对评估表中的单个问题设置自动化。Connect Customer 提供了三种自动评估的方法:

  • 联系人类别单选问题(例如,代理是否正确地向客户打招呼(是/否)?),以及多选问题(例如,问候语脚本的哪些部分正确显示了代理状态?)可以使用规则定义的联系人类别自动回答。有关更多信息,请参阅 使用 Connect Customer 管理员网站创建对话分析规则

  • 生成式人工智能:使用生成式人工智能可以自动回答单选文本字段问题。

    有关自动评估自助服务(自动)交互的信息,请参阅Connect Customer 中自助服务互动的绩效评估

  • 指标数字问题(例如,客户被搁置的最长时间是多长时间?)可以使用最长等待时间、情绪分数等指标自动回答。

以下是针对每种类型的问题的每种自动化类型的示例。

使用对话分析类别对单选题进行自动化示例
  • 下图显示,当对话分析使用标签ProperGreeting对联系人进行分类时,评估问题的答案为是。要将联系人标记为 ProperGreeting,必须首先设置一条规则,检测应包含在正确问候语中的字词或短语,例如,代理在互动的前 30 秒内提到 “感谢您的来电”。有关更多信息,请参阅 自动对联系进行分类

    问题部分,包含对话分析类别的自动化选项卡。

    有关设置联系人类别的信息,请参阅自动对联系进行分类

的自动化示例 optional 使用联系人类别的单选问题
  • 下图显示了一个可选单选问题的自动化示例。首先要检查问题是否适用。创建一条规则来检查联系人是否要开设新账户。如果是,则该联系人被归类为CallReasonNewAccountOpening。如果通话内容与开设新账户无关,则此问题标记为不适用

    仅当问题适用时,后面的条件才会生效。根据联系人类别,答案被标记为 “是” 或 “否” NewAccountDisclosures 。此类别检查座席是否向客户提供了有关开设新账户的披露信息。

    “问题”分区,“自动化”选项卡。

    有关设置联系人类别的信息,请参阅自动对联系进行分类

的自动化示例 optional 使用生成式 AI 的单选题
  • 下图显示使用生成式人工智能的示例。生成式人工智能通过解读评估问题说明中指定的问题标题和评估标准,并运用这些信息来分析对话记录,从而自动回答评估问题。使用完整的句子表述评估问题,并在说明中清晰地指定评估标准,这些将提高生成式人工智能回答的准确性。有关信息,请参阅使用生成式 AI 评估 Connect Customer 中的代理性能

    问题部分,生成式 AI 对话分析选项。
使用对话分析类别对多选题进行自动化示例
  • 多选题可用于捕捉单选题的答案理由。它还可以通过检查客户场景(例如通话原因)来触发条件性问题。以下示例说明如何使用捕获客户来电原因的规则来自动填写多选问题的答案。与单选问题不同,所有条件都按顺序执行以回答多选问题。在以下示例中,如果类别StatusCheck ChangeExistingRequest都出现在联系人上,则答案将是 “检查现有服务请求的状态” 和 “更改服务请求”。

    问题部分,包含对话分析类别的自动化选项卡。

    有关设置联系人类别的信息,请参阅自动对联系进行分类

数值问题的示例自动化
  • 如果座席互动持续时间小于 30 秒,则将问题评分为 10 分。

    “问题”分区,“评分”选项卡,数值问题。
  • 自动化选项卡上,选择用于自动评估问题的指标。

    “问题”分区,“自动化”选项卡,用于自动评估问题的指标。
  • 您可以使用对话分析指标(例如客户的情绪分数、非通话时间百分比和中断次数)和联系指标(例如最长等待时间、保留次数和代理互动持续时间)自动回答数字问题。

激活评估表并对某些问题配置了自动化后,当您从 Connect Customer 管理员网站开始评估时,您将收到对这些问题的自动回复。

自动填写和提交评估
  1. 如前所述,对评估表中的每个问题设置自动化。

  2. 在激活评估表之前,打开启用全自动提交评估。此切换按钮如下图所示。

    将启用全自动评估切换设置为开。
  3. 激活评估表。

  4. 激活后,系统将要求您在对话分析中创建一条规则,以提交自动评估。有关更多信息,请参阅 在会话分析中创建提交自动评估的规则。使用该规则,您可以指定应使用评估表自动评估哪些联系人。

第 7 步:预览评估表

只有在您为所有问题的答案分配分数后,预览按钮才会处于活动状态。

“评估表”页面,“预览”按钮。

下图显示了表单预览。使用箭头折叠各个分区,使表单更易于预览。您可以在查看预览的同时编辑表单,如下图所示。

评估表预览。

第 8 步:为最终分数分配权重

为评估表启用基于百分比的评分后,您可以为部分或问题分配权重。权重会增加或降低某个分区或问题对评估最终分数的影响。此步骤仅适用于百分比评分模式。如果您选择了Point-based得分,则不使用权重;相反,分数是根据获得的分数与最大可能的分数计算得出的。

“评估表”页面,“评分”选项卡,“分数权重”分区,“问题”选项。

权重分配模式

对于权重分配模式,您可以选择是按分区还是按问题分配权重:

  • 按分区划分权重:您可以均匀分配相应分区中每个问题的权重。

  • 按问题划分权重:您可以降低或提高特定问题的权重。

当您更改分区或问题的权重时,会自动调整其他权重,因此总权重始终为 100%。

例如,在下图中,问题 2.1 被手动设置为 50%。以斜体显示的权重是自动调整的。此外,您还可以打开从评分中排除可选问题,将所有可选问题的权重定为 0,并将权重重新分配给其余问题。

对问题的权重进行评分。

第 9 步:验证评估表

选择 “保存并验证” 以保存评估表并通过验证管道运行。结果显示在侧面板中。验证分两个阶段进行。首先,验证管道根据管理激活的相同结构和配置规则(例如章节和问题限制、权重和评分一致性以及唯一标识符)来检查表单。管道会将此处发现的所有问题报告为错误,因为这些问题会阻止表单激活,您必须先解决这些问题才能继续。

如果管道未发现结构性错误且表单包含 AI 世代自动化问题,则验证将进入第二阶段。此阶段根据一代人工智能自动化的最佳实践评估这些问题的内容。管道会报告此处标识为警告的任何内容。警告不会阻止激活,但我们建议您解决这些问题,以提高自动答案的质量和可靠性。

验证会根据以下最佳实践检查每个 AI 世代自动提问:

  • 问题措辞 — 问题标题读作完整的问题(以问号结尾),而不是陈述或标题。

  • 本说明 ——每个 AI 世代都回答了问题,包括指示 AI 如何评估和回答问题。

  • 答案选项语言 — 答案选项使用通俗易懂的日常语言,没有首字母缩略词或缩写。

  • 答案选项简洁 ——答案选项仅是简短的标签,没有额外的评论或条件。

  • 笔录的可答性 — 问题可以仅从笔录和说明中回答,无需外部数据或系统查询。

  • 积极行动框架 — 问题是询问代理做了什么,而不是让 AI 检测到没有采取任何行动。

  • 通俗易懂的语言 — 说明避免使用缩写、首字母缩略词和公司特定的行话。

  • 拼写 — 问题标题、说明和答案选项中没有拼写错误的单词。

  • 没有外部系统引用 — 指令不引用 AI 在脚本中看不到的外部系统中的操作或状态。

  • 没有非文字线索 — 问题不需要评估纯音频质量(音量、音高、说话速度、人声)。 Text-assessable 专业精神或同理心等素质都可以。

  • 没有 PII 参考 — 问题和说明不包含特定的 PII 值。评估代理的 PII-handling 行为是可以的。

注意

Gen AI 验证对每个 Connect 客户实例的速率有限制:并行运行的第 3 代 AI 验证不能超过 3 个,每小时最多可以运行 30 个。如果超过任一限制,则侧面板中会显示一条错误消息。请稍后重试。这些限制不影响结构验证。

验证评估表
  1. 选择 “保存保存并验证”

    “保存” 菜单中的 “保存并验证” 选项。
  2. 验证完成后,结果显示在表单顶部:

    • 如果未找到任何建议,则表单顶部会显示绿色横幅,确认验证已通过。

    • 如果找到建议,它们将在侧面板中列出,分组为 “错误” 或 “警告”

    验证结果侧面板显示错误和警告。
  3. 您可以随时关闭侧面板。要重新打开它,可以选择问题旁边的 “发现” 按钮,或者选择 “保存并再次验证”。

    问题旁边的 “发现” 按钮。
  4. 在侧面板上,您可以在解决每个发现问题后将其标记为已解决。选择 “待解决” 筛选条件,重点关注仍需要注意的调查结果。

    包含调查结果和待解决过滤器的侧面板。
注意

将发现标记为已解决只能直观地将其隐藏在面板上,这样您就可以清楚地看到哪些发现还有待解决。它不会重新运行验证或更改表单的激活状态。

第 10 步:激活评估表

选择激活以使评估人员可以使用表单。评估人员在开始新的评估时,将不能再从下拉列表中选择先前版本的表单。对于使用先前版本完成的任何评估,您仍然可以查看评估所依据的表单版本。

重要

激活新版本后,评估者无法再使用先前版本开始新的评估。

如果您仍在设置评估表,并想要随时保存您的工作,则可以选择保存保存草稿

如果您想要检查表单是否已正确设置,但不想激活表单,请选择保存保存并验证