翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
モデル品質
モデル品質のモニタリングジョブは、モデルによる予測と、モデルが予測しようとする実際の Ground Truth ラベルを比較して、モデルのパフォーマンスをモニタリングします。これを行うために、モデル品質モニタリングは、リアルタイム推論またはバッチ推論からキャプチャしたデータを Amazon S3 バケットに保存されている実際のラベルとマージしてから、予測を実際のラベルと比較します。
Model Monitor は、モデルの品質の測定に機械学習問題のタイプに応じてさまざまなメトリクスを使用します。例えば、モデルが回帰問題の場合、評価される指標の 1 つは平均二乗誤差 (mse) です。さまざまな機械学習問題タイプで使用されるすべてのメトリクスについては、「モデル品質メトリクスと Amazon CloudWatch モニタリング」を参照してください。
モデル品質モニタリングではデータ品質モニタリングと同じステップを実行しますが、Amazon S3 からの実際のラベルをリアルタイム推論エンドポイントからまたはバッチ変換ジョブから取得した予測とマージするというステップが追加されています。データ品質をモニタリングするには、次のステップを実行します。
-
データキャプチャを有効にします。データキャプチャは、リアルタイム推論エンドポイントまたはバッチ変換ジョブからの推論の入出力をキャプチャするか、データを Amazon S3 に保存します。詳細については、「データキャプチャ」を参照してください。
-
ベースラインを作成します。このステップでは、モデルによる予測をベースラインデータセット内の Ground Truth ラベルと比較するベースラインジョブを実行します。ベースラインジョブは、ベースラインとなるしきい値を定義する統計ルールと制約を自動的に作成し、これらと比較してモデルのパフォーマンスを評価します。詳細については、「モデル品質ベースラインを作成する」を参照してください。
-
モデル品質モニタリングジョブを定義し、スケジュールします。モデル品質モニタリングジョブの具体的な情報とコードサンプルについては、「」を参照してくださいモデル品質モニタリングジョブをスケジュールする。モニタリングジョブのスケジュールに関する一般的な情報については、「モニタリングジョブのスケジューリング」を参照してください。
-
Ground Truth ラベルを取り込みます。Model Monitor はこれをリアルタイム推論エンドポイントまたはバッチ変換ジョブから取得した予測データとマージします。詳細については、「Ground Truth ラベルを取り込み、予測とマージする」を参照してください。
-
モデル品質モニタリングを Amazon と統合します CloudWatch。詳細については、「を使用したモデル品質メトリクスのモニタリング CloudWatch」を参照してください。
-
モニタリングジョブの結果を解釈します。詳細については、「結果の解釈」を参照してください。
-
SageMaker Studio を使用して、モデル品質のモニタリングと結果の視覚化を有効にします。詳細については、「Amazon SageMaker Studio のリアルタイムエンドポイントの結果を視覚化する」を参照してください。
トピック
