自2025年11月7日起，亚马逊欺诈探测器不再向新客户开放。要了解与亚马逊欺诈检测器类似的功能，请浏览亚马逊 SageMaker AutoGluon、和 AWS WAF。
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
模型性能指标
模型训练完成后，Amazon Fraud Detector 使用未用于训练模型的 15% 的数据来验证模型性能。您可以期望经过训练的 Amazon Fraud Detector 模型具有与验证性能指标类似的真实欺诈检测性能。
作为一家企业，您必须在发现更多欺诈行为和给合法客户增加更多摩擦之间取得平衡。为了帮助选择正确的平衡点，Amazon Fraud Detector 提供了以下工具来评估模型性能：
-
分数分布图 — 模型分数分布的直方图假设示例总数为 100,000 个事件。左边的 Y 轴代表合法事件，右边的 Y 轴代表欺诈事件。您可以通过单击图表区域来选择特定的模型阈值。这将更新混淆矩阵和 ROC 图表中的相应视图。
-
混淆矩阵 — 通过比较模型预测与实际结果，总结给定分数阈值的模型精度。亚马逊欺诈探测器假设示例中有 100,000 个事件。欺诈和合法事件的分布模拟了企业中的欺诈率。
真正的积极因素 ——该模型可以预测欺诈，而该事件实际上是欺诈。
误报 — 该模型可以预测欺诈，但该事件实际上是合法的。
真正的负数 — 模型预测是合法的，事件实际上是合法的。
假阴性 — 该模型预测是合法的，但该事件实际上是欺诈。
-
真实阳性率 (TPR) — 模型检测到的欺诈总数的百分比。也称为捕获率。
-
误报率 (FPR) — 被错误预测为欺诈的合法事件占总数的百分比。
-
接收者操作曲线 (ROC) — 将真实阳性率绘制为所有可能的模型分数阈值上假阳性率的函数。通过选择 “高级指标” 来查看此图表。
-
曲线下方区域 (AUC) — 汇总所有可能的模型分数阈值的 TPR 和 FPR。没有预测能力的模型的AUC为0.5，而完美模型的分数为1.0。
-
不确定性范围 — 它显示了模型预期的 AUC 范围。范围越大（AUC 的上限和下限之差 > 0.1）意味着更高的模型不确定性。如果不确定性范围很大（>0.1），请考虑提供更多标记的事件并重新训练模型。
使用模型性能指标
-
从分数分布图开始，查看欺诈和合法事件的模型分数分布。理想情况下，您将明确区分欺诈和合法事件。这表明该模型可以准确识别哪些事件是欺诈性的，哪些是合法的。通过单击图表区域选择模型阈值。您可以看到调整模型分数阈值如何影响您的真阳性和误报率。
注意
分数分布图在两个不同的 Y 轴上绘制了欺诈和合法事件。左边的 Y 轴代表合法事件，右边的 Y 轴代表欺诈事件。
-
查看混乱矩阵。根据您选择的模型分数阈值，您可以查看基于 100,000 个事件样本的模拟影响。欺诈和合法事件的分布模拟了企业中的欺诈率。使用此信息在真实阳性率和误报率之间找到适当的平衡。
-
有关其他详细信息，请选择高级指标。使用 ROC 图表了解任何模型分数阈值的真实阳性率和误报率之间的关系。ROC 曲线可以帮助您微调真阳性率和误报率之间的权衡。
注意
您还可以通过选择 “表” 来查看表格形式的指标。
表格视图还显示指标精度。精度是指正确预测为欺诈事件与所有预测为欺诈事件相比的百分比。
-
根据您的目标和欺诈检测用例，使用绩效指标来确定企业的最佳模型阈值。例如，如果您计划使用该模型将新账户注册归类为高、中或低风险，则需要确定两个阈值分数，以便可以按如下方式起草三个规则条件：
-
分数 > X 是高风险
-
分数 < X but > Y 为中等风险
-
分数 < Y 为低风险
-
