View a markdown version of this page

模型变量重要性 - Amazon Fraud Detector
使用模型变量重要性值评估模型变量重要性值查看模型变量重要性排名了解模型变量重要性值是如何计算的

截至 2025 年 11 月 7 日，亚马逊 Fraud Detector 不再向新客户开放。要获得与 Amazon Fraud Detector 类似的功能 SageMaker，请浏览亚马逊 AutoGluon、和 AWS WAF。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型变量重要性

模型变量重要性是 Amazon Fraud Detector 的一项功能，可对模型版本中的模型变量进行排名。根据每个模型变量对模型整体性能的相对重要性，为其提供一个值。对于模型而言，值最高的模型变量比该模型版本的数据集中的其他模型变量更为重要，默认情况下列在顶部。同样，默认情况下，值最低的模型变量列在底部，与其他模型变量相比最不重要。使用模型变量重要性值，您可以深入了解哪些输入推动了模型的性能。

您可以在 Amazon Fraud Detector 控制台中或使用 DescribeModelVersion API 查看经过训练的模型版本的模型变量重要性值。

模型变量重要性为用于训练模型版本的每个变量提供以下一组值。

  • 变量类型：变量的类型（例如，IP 地址或电子邮件）。有关更多信息，请参阅 变量类型。对于账户收购洞察 (ATI) 模型，亚马逊欺诈检测器为原始和聚合变量类型提供可变重要性值。原始变量类型将分配给您提供的变量。聚合变量类型分配给一组原始变量，Amazon Fraud Detector 将这些变量组合起来计算出聚合的重要性值。

  • 变量名称：用于训练模型版本的事件变量的名称（例如、ip_addressemail_address、are_creadentials_valid）。对于聚合变量类型，将列出用于计算聚合变量重要性值的所有变量的名称。

  • 变量重要性值：一个数字，表示原始变量或聚合变量对模型性能的相对重要性。典型范围：0—10

在亚马逊欺诈探测器控制台中，在线欺诈洞察 (OFI) 或交易欺诈洞察 (TFI) 模型的模型变量重要性值显示如下。除了原始变量的重要性值外，账户收购洞察（ATI）模型还将提供聚合的变量重要性值。可视化图表使您可以轻松查看变量之间的相对重要性，垂直虚线提供了排名最高的变量的重要性值的参考。

模型变量重要性图。

Amazon Fraud Detector 会为每个欺诈检测器模型版本生成可变的重要性值，无需额外付费。

重要

2021 年 7 月 9 日之前创建的模型版本没有可变重要性值。必须训练模型的新版本才能生成模型变量重要性值。

使用模型变量重要性值

您可以使用模型变量重要性值来深入了解是什么推动了模型性能的上升或下降，以及哪些变量的贡献最大。然后调整模型以提高整体性能。

更具体地说，为了提高模型性能，请根据您的领域知识检查变量重要性值，并调试训练数据中的问题。例如，如果使用账户 ID 作为模型的输入并将其列在顶部，请查看其变量重要性值。如果变量重要性值明显高于其余值，则您的模型可能过度拟合了特定的欺诈模式（例如，所有欺诈事件都来自同一个账户 ID）。但是，如果变量取决于欺诈标签，也可能会出现标签泄露的情况。根据基于领域知识的分析结果，您可能需要移除变量并使用更加多样化的数据集进行训练，或者保持模型原样。

同样，看看排名最后的变量。如果变量重要性值明显低于其余值，则此模型变量在训练模型时可能没有任何重要性。你可以考虑移除该变量来训练一个更简单的模型版本。如果您的模型几乎没有变量，例如只有两个变量，Amazon Fraud Detector 仍会提供变量重要性值并对变量进行排名。但是，这种情况下的见解将是有限的。

重要

  1. 如果您发现模型变量重要性图表中缺少变量，则可能是由于以下原因之一。考虑修改数据集中的变量并重新训练模型。

    • 训练数据集中变量的唯一值数低于 100。

    • 训练数据集中缺少大于 0.9 的变量值。

  2. 每次要调整模型的输入变量时，都需要训练一个新的模型版本。

评估模型变量重要性值

我们建议您在评估模型变量重要性值时考虑以下几点：

  • 必须始终结合领域知识来评估可变重要性值。

  • 检查变量的变量重要性值相对于模型版本中其他变量的变量重要性值。不要单独考虑单个变量的变量重要性值。

  • 比较同一模型版本中变量的变量重要性值。不要比较模型版本中相同变量的变量重要性值，因为模型版本中变量的变量重要性值可能不同于不同模型版本中同一变量的值。如果您使用相同的变量和数据集来训练不同的模型版本，则不一定会生成相同的变量重要性值。

查看模型变量重要性排名

模型训练完成后，您可以在 Amazon Fraud Detector 控制台中或使用 DescribeModelVersion API 查看经过训练的模型版本的模型变量重要性排名。

要使用控制台查看模型变量重要性排名，

  1. 打开 AWS 控制台并登录您的账户。导航到亚马逊欺诈探测器。

  2. 在左侧导航窗格中，选择 模型。

  3. 选择您的型号，然后选择您的模型版本。

  4. 确保选择 “概述” 选项卡。

  5. 向下滚动查看模型变量重要性窗格。

了解模型变量重要性值是如何计算的

完成每个模型版本训练后，Amazon Fraud Detector 会自动生成模型变量重要性值和模型的性能指标。为此，亚马逊欺诈探测器使用了 Shapley 加法解释 (SH AP)。SHAP 本质上是考虑了所有模型变量的所有可能组合后模型变量的平均预期贡献。

SHAP 首先为预测事件分配每个模型变量的贡献。然后，它汇总这些预测，以创建模型级别的变量排名。为了给预测分配每个模型变量的贡献，SHAP 会考虑所有可能的变量组合之间模型输出的差异。通过包括或删除特定变量集以生成模型输出的所有可能性，SHAP 可以准确地了解每个模型变量的重要性。当模型变量彼此高度相关时，这一点尤其重要。

在大多数情况下，机器学习模型不允许您移除变量。您可以改为将模型中移除或缺失的变量替换为一个或多个基线（例如，非欺诈事件）中的相应变量值。选择正确的基准实例可能很困难，但是 Amazon Fraud Detector 通过将该基准设置为人口平均值来简化此操作。