由 Amazon A SageMaker utopilot 生成的报告 - 亚马逊 SageMaker AI
解释功能报告模型性能报告回测结果报告

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

由 Amazon A SageMaker utopilot 生成的报告

除了数据探索笔记本外，Autopilot 还会为每个实验的最佳候选模型生成各种报告。

  • 解释功能报告提供了有关模型如何进行预测的深入分析。

  • 性能报告提供了对模型预测能力的定量评测。

  • 在历史数据上测试模型的性能后，将生成回测结果报告。

解释功能报告

Autopilot 解释功能报告可帮助您更好地了解数据集中的属性，会如何对特定时间序列（项目和维度组合）和时间点的预测产生影响。Autopilot 使用名为影响分数的指标来量化每个属性的相对影响，并确定它们是增加还是减少预测值。

例如，假设一个预测场景，其中目标是 sales，并且有两个相关的属性：price 和 color。Autopilot 可能会发现商品的颜色对某些商品的销售影响很大，但对其他商品的影响可以忽略不计。它还可能发现，夏季促销活动对销售的影响很大，但是冬季促销活动效果不大。

只有在满足以下条件时才会生成解释功能报告：

  • 时间序列数据集包括其他特征列或与假日日历相关联。

  • 基本模型 CNN-QR 和 DeepAR+ 包含在最终的组合中。

解释影响力分数

影响力分数衡量属性对预测值的相对影响。例如，如果 price 属性的影响力分数是 store location 属性的两倍，则可以得出结论，某件商品的价格对预测值的影响是商店位置的两倍。

影响力分数还提供有关属性会增加还是减少预测值的信息。

影响力分数的范围在 -1 到 1 之间，其中符号表示影响方向。分数为 0 表示没有影响，而接近 1 或 -1 的分数表示有显著的影响。

值得注意的是，影响力分数衡量的是属性的相对影响，而不是绝对影响。因此，不能使用影响力分数来确定特定属性是否提高了模型准确性。如果某个属性的影响力分数较低，这并不一定意味着它对预测值的影响较小；而是意味着它对预测值的影响要小于预测器使用的其他属性。

查找解释功能报告

在对 DescribeAutoMLJobV2 响应的 BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability 位置，您可以找到为最佳候选项生成的解释功能构件的 Amazon S3 前缀。

模型性能报告

Autopilot 模型质量报告（也称为性能报告）针对 AutoML 作业生成的最佳候选模型（最佳预测器），提供深入分析和质量信息。这包括有关作业详细信息、目标函数和准确性指标（wQL、MAPE、WAPE、RMSE、MASE）的信息。

在对 DescribeAutoMLJobV2 响应的 BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights 位置，您可以找到为最佳候选项生成的模型质量报告构件的 Amazon S3 前缀。

回测结果报告

回测结果通过评估时间序列预测模型的预测准确性和可靠性，提供对模型性能的深入分析。它可以帮助分析师和数据科学家评测模型在历史数据上的性能，并帮助了解模型在未来的不可见数据中的潜在性能。

Autopilot 使用回测来调整参数并生成准确性指标。在回测期间，Autopilot 会自动将您的时间序列数据分成两组，即训练集和测试集。训练集用于训练模型，然后使用该模型，为测试集中的数据点生成预测。Autopilot 使用此测试数据集，通过将预测值与测试集中的观察数据进行比较来评估模型的准确性。

在对 DescribeAutoMLJobV2 响应的 BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults 位置，您可以找到为最佳候选项生成的模型质量报告构件的 Amazon S3 前缀。