分析で高度なメトリクスを使用する - Amazon SageMaker AI
パフォーマンス

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

分析で高度なメトリクスを使用する

次のセクションでは、Amazon SageMaker Canvas でモデルの高度なメトリクスを検索して解釈する方法について説明します。

注記

高度なメトリクスは現在、数値予測モデルとカテゴリ予測モデルでのみ使用できます。

[高度なメトリクス] タブを検索するには、以下を実行します。

  1. SageMaker Canvas アプリケーションを開きます。

  2. 左側のナビゲーションペインで [自分のモデル] を選択します。

  3. 構築したモデルを選択します。

  4. ナビゲーションペインで、[分析] タブを選択します。

  5. [分析] タブで、[高度なメトリクス] タブを選択します。

[高度なメトリクス] タブには、[パフォーマンス] タブがあります。次のスクリーンショットのようなページが表示されます。

カテゴリ予測モデルの [高度なメトリクス] タブのスクリーンショット。

上部には、[最適化メトリクス] を含むメトリクススコアの概要が表示されます。これは、モデルの構築時に最適化するために選択した (またはデフォルトで Canvas が選択した) メトリクスです。

次の各セクションでは、[高度なトメトリクス] 内の [パフォーマンス] タブの詳細について説明します。

パフォーマンス

[パフォーマンス] タブには、[メトリクステーブル] と、Canvas がモデルタイプに基づいて作成する視覚化が表示されます。カテゴリ予測モデルの場合、Canvas では混同行列を表示しますが、数値予測モデルの場合には、残差と誤差密度のグラフを表示します。

[メトリクステーブル] には、それぞれの高度なメトリクスのモデルのスコアを含む完全なリストが表示されます。これは、ページ上部のスコアの概要よりも包括的です。ここに表示されるメトリクスは、モデルタイプによって異なります。各メトリクスを理解して解釈するためのリファレンスについては、「メトリクスのリファレンス」を参照してください。

モデルタイプに基づいて表示される可能性のある視覚化について理解するには、次のオプションを参照してください。

  • 混同行列 – Canvas では混同行列を使用して、モデルが予測を正しく行うタイミングを視覚化できるようにします。混同行列では、予測値を実際の値と比較して結果を表示します。次の例は、ポジティブラベルとネガティブラベルを予測する 2 カテゴリ予測モデルで混同行列がどのように機能するかを説明しています。

    • 真陽性 — 真のラベルが陽性の場合、モデルは陽性を正しく予測しました。

    • 真陰性 — 真のラベルが陰性の場合、モデルは陰性を正しく予測しました。

    • 偽陽性 — 真のラベルが陰性の場合、モデルは陽性を誤って予測しました。

    • 偽陰性 — 真のラベルが陽性の場合、モデルは陰性を誤って予測しました。

  • 精度再現率曲線 – 精度再現率曲線は、モデルの再現率スコアに対してプロットされたモデルの精度スコアを視覚化したものです。一般的に、完璧な予測ができるモデルでは、精度スコアと再現率スコアの両方が 1 になります。かなり正確なモデルの精度再現率曲線は、精度と再現率の両方がかなり高くなります。

  • 残差 – 残差は、実際の値とモデルが予測した値の差です。残差グラフは、残差を対応する値に対してプロットし、分布とパターンまたは外れ値を視覚化します。ゼロ付近の残差の正規分布は、モデルがデータに適していることを示します。ただし、残差が著しく歪んでいるか、外れ値がある場合は、モデルのデータがオーバーフィットしているか、対処する必要があるその他の問題が存在することを示している可能性があります。

  • エラー密度 – エラー密度プロットは、モデルによる誤差の分布を表します。これは、各ポイントの誤差の確率密度を示し、モデルがオーバーフィットしているか、体系的な誤差を発生させている可能性のある領域を特定するのに役立ちます。