Amazon SageMaker Autopilot 產生的報告 - Amazon SageMaker AI
可解釋性報告模型效能報告回溯測試結果報告

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker Autopilot 產生的報告

除了資料探勘筆記本之外，Autopilot 還會為每個實驗的最佳候選模型產生各種報告。

  • 可解釋性報告提供有關模型如何進行預測的洞察。

  • 效能報告提供模型預測能力的量化評估。

  • 在對歷史資料測試模型效能後，會產生回溯測試結果報告。

可解釋性報告

Autopilot 可解釋性報表可協助您更了解您的資料集的屬性如何影響特定時間序列 (項目與維度組合) 與時間點的預測。Autopilot 使用稱為影響分數的指標來量化每個屬性的相對影響，並判斷它們是否增加或減少預測值。

例如，假設目標所為 sales 且有兩個相關屬性的預測案例：price 與 color。Autopilot 可能會發現該項目的顏色對某些商品的銷售影響很大，但對其他項目的影響微不足道。它也可能發現，在夏季的促銷活動對銷售有很大的影響，但在冬季促銷影響不大。

僅在以下情況下才會產生可解釋性報告：

  • 時間序欄資料集包含其他特徵欄位，或與假日行事曆相關聯。

  • 最終整合包括 CNN-QR 與 DeepAR + 的基本模型。

解釋影響分數

影響分數會衡量屬性對預測值的相對影響。例如，如果屬性 price 的影響分數是屬性 store location 的兩倍，則您可以得出結論，商品價格對預測值的影響是商店位置的兩倍。

影響分數也會提供屬性是否增加或減少預測值的相關資訊。

影響分數範圍從 -1 到 1，其中符號表示影響的方向。分數 0 表示無影響，而接近 1 或 -1 的分數表示有重大影響。

值得注意的是，影響力分數衡量的是屬性的相對影響，而不是絕對影響。因此，影響分數無法用於確定特定屬性是否可以改善模型的準確性。如果某個屬性的影響分數較低，不一定表示它對預測值的影響較低； 這表示與它對預測值的影響比預測器使用的其他屬性要小。

尋找可解釋性報告

您可以在 BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability 對 DescribeAutoMLJobV2 的回應找到為最佳候選產生的可解釋性成品的 Amazon S3 字首。

模型效能報告

Autopilot 模型品質報告 (也稱為效能報告) 提供 AutoML 任務所產生的最佳候選模型 (最佳預測器) 的洞察與品質資訊。這包含有關任務詳細資訊、目標函式與準確性指標 (wQL、MAPE、WAPE、RMSE、MASE) 的資訊。

您可以在 BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights 的 DescribeAutoMLJobV2 回應中找到最佳候選產生的模型品質報告成品的 Amazon S3 字首。

回溯測試結果報告

回溯測試結果透過評估時間序列預測模型的預測準確性與可靠性，提供對時間序列預測模型效能的洞察。它可以幫助分析師與資料科學家評估其在歷史資料的效能，並協助了解其在未來未見資料的潛在效能。

Autopilot 使用回溯測試來調整參數並產生準確性指標。在回溯測試期間，Autopilot 會自動將您的時間序列資料分為兩組：訓練集與測試集。訓練集用於訓練模型，然後使用該模型產生測試集中資料點的預測。Autopilot 使用此測試資料集，透過將預測值與測試集的觀測值進行比較來評估模型的準確性。

您可以在 BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults 的 DescribeAutoMLJobV2 回應中找到最佳候選產生的模型品質報告成品的 Amazon S3 字首。