步骤 4：查看 ML 模型的预测性能和设置分数阈值 - Amazon Machine Learning

我们不再更新 Amazon Machine Learning 服务，也不再接受新用户使用该服务。本文档可供现有用户使用，但我们不会再对其进行更新。有关更多信息，请参阅什么是 Amazon Machine Learning。

步骤 4：查看 ML 模型的预测性能和设置分数阈值

现在，您已经创建了 ML 模型，Amazon Machine Learning (Amazon ML) 也对其进行了评估，我们来看看该模型是否足以投入使用。在评估期间，Amazon ML 计算了称为曲线下面积 (AUC) 指标的行业标准质量指标，用于表示 ML 模型的性能质量。Amazon ML 还会解析 AUC 指标，让您了解 ML 模型的质量是否能够满足大多数机器学习应用程序的需求。（在衡量 ML 模型准确度中了解有关 AUC 的更多信息。） 让我们看一看 AUC 指标，然后调整分数阈值或截断值，以优化您的模型的预测性能。

查看您的 ML 模型的 AUC 指标

  1. 在 ML 模型摘要页面上的 ML 模型报告导航窗格中，依次选择评估、评估: ML 模型: 银行模型 1 和 摘要。

  2. 在评估摘要页面上，查看评估摘要，包括模型的 AUC 性能指标。

    ML model performance metric showing extremely good quality score with AUC of 0.94.

ML 模型为预测数据源中的每个记录生成数字预测分数，然后应用一个阈值将这些分数转化为二进制标签 0（表示“否”）或 1（表示“是”）。通过更改分数阈值，您可以调整 ML 模型如何分配这些标签。现在，设置分数阈值。

为 ML 模型设置分数阈值

  1. 在评估摘要页面上，选择调节分数阈值。

    ML model performance chart showing predicted distributions for "1" and "0" records with adjustable score threshold.

    通过调整分数阈值，您可以优化您的 ML 模型的性能指标。调整此值会更改置信度级别，因为必须先对模型进行预测，然后才能将预测视为阳性。此外，它还会更改您在预测中可以容忍的假阴性和假阳性的数量。

    您可以通过增加分数阈值来控制模型视为阳性预测的截断值，直到它仅将具有最大真阳性可能性的预测视为阳性。您也可以减少分数阈值，直到不再有任何假阴性。选择您的截断值，以反映您的业务需求。在本教程中，每个假阳性都会花费活动资金，因此我们需要较高的真阳性与假阳性比率。

  2. 假设您希望将目标放在可能订阅产品的前 3% 的客户。滑动垂直选择器，将分数阈值设置为与 %3 的记录的预测值为“1”相对应的值。

    ML model performance chart showing distribution of predicted answers for "1" and "0" records.

    请注意此分数阈值对 ML 模型性能的影响：假阳性错误比率为 0.007。我们假定该假阳性比率可接受。

  3. 选择将分数阈值保存在 0.77。

每次使用此 ML 模型进行预测时，它将分数超过 0.77 的记录预测为“1”，将其余记录预测为“0”。

要了解有关分数阈值的更多信息，请参阅二元分类。

现在您已准备就绪，可以使用您的模型创建预测。