Amazon SageMaker Autopilot によって生成されたレポート - Amazon SageMaker AI
説明可能性のレポートモデルパフォーマンスレポートバックテスト結果レポート

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker Autopilot によって生成されたレポート

データ探索ノートブックに加えて、Autopilot は各実験の最適なモデル候補に関するさまざまなレポートを生成します。

  • 説明可能性レポートでは、モデルがどのように予測を行うかについてのインサイトが得られます。

  • パフォーマンスレポートは、モデルの予測機能を定量的に評価します。

  • バックテスト結果レポートは、モデルのパフォーマンスを履歴データでテストした後に生成されます。

説明可能性レポート

Autopilot の説明可能性レポートは、データセット内の属性が特定の時系列 (項目とディメンションの組み合わせ) および時間ポイントの予測にどのように影響するかをよりよく理解するのに役立ちます。Autopilot は、Impact スコアと呼ばれるメトリクスを使用して、各属性の相対的な影響を定量化し、それらが予測値を増加させるか減少させるかを決定します。

例えば、ターゲットが sales であり、price および color といった関連する 2 つの属性がある予測シナリオについて考えてみます。Autopilot は、商品の色が、特定の商品の売上には大きな影響を与えるが、他の商品に対する影響はごくわずかであると判断する可能性があります。また、夏のプロモーションは売上に大きな影響を与えるが、冬のプロモーションはほとんど効果がないと判断する可能性もあります。

説明可能性レポートは次の場合にのみ生成されます。

  • 時系列データセットに追加の特徴量列が含まれているか、祝祭日カレンダーに関連付けられている場合。

  • ベースモデルの CNN-QR と DeepAR+ が最終的なアンサンブルに含まれている場合。

影響スコアの解釈

影響スコアは、予測値に対する相対的な影響属性を測定します。例えば、price 属性の影響スコアが store location 属性の 2 倍である場合、商品の料金は、予測値に対して、店舗の場所の 2 倍の影響を及ぼすと結論付けることができます。

影響スコアは、属性が予測値を増加させるか減少させるかに関する情報も提供します。

Impact スコアの範囲は -1 から 1 で、記号は影響の方向を示します。スコアが 0 の場合は影響がないことを示し、スコアが 1 または -1 に近い場合は影響が大きいことを示します。

Impact スコアは、絶対的な影響ではなく、属性の相対的な影響を測定することに注意することが重要です。したがって、Impact スコアで、特定の属性がモデルの精度が向上するかどうかを判断することはできません。属性の Impact スコアが低い場合、それは必ずしも予測値への影響が少ないことを意味するわけではありません。これは、予測子が使用する他の属性よりも予測値への影響が少ないことを意味します。

説明可能性レポートの検索

最適な候補に対して生成された説明可能性アーティファクトの Amazon S3 プレフィックスは DescribeAutoMLJobV2 へのレスポンス内の BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability にあります。

モデルパフォーマンスレポート

Autopilot モデル品質レポート (パフォーマンスレポートとも呼ばれる) は、AutoML ジョブによって生成された最適なモデル候補 (最適な予測因子) に関するインサイトと品質情報を提供します。これには、ジョブの詳細、目標関数、精度メトリクス (wQL、MAPE、WAPE、RMSE、MASE) に関する情報が含まれます。

最適な候補に対して生成されたモデル品質レポートアーティファクトへの Amazon S3 プレフィックスは DescribeAutoMLJobV2 のレスポンス内の BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights にあります。

バックテスト結果レポート

バックテストの結果は、予測の精度と信頼性を評価することにより、時系列予測モデルのパフォーマンスに関するインサイトを提供します。アナリストやデータサイエンティストが過去のデータに対するパフォーマンスを評価するのに役立ち、将来の、見えないデータに対する潜在的なパフォーマンスを理解するのに役立ちます。

Autopilot は、バックテストを使用してパラメータをチューニングし、精度メトリクスを生成します。バックテスト中、Autopilot は、時系列データをトレーニングセットとテストセットといった 2 つのセットに自動的に分割します。トレーニングセットは、モデルをトレーニングし、テストセット内のデータポイントの予測を生成するために使用されます。Autopilot は、このテストデータセットを使用して予測値をテストセットの観測値と比較することにより、モデルの精度を評価します。

最適な候補に対して生成されたモデル品質レポートアーティファクトへの Amazon S3 プレフィックスは DescribeAutoMLJobV2 のレスポンスの BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults にあります。