翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
データとモデル品質のモニタリング
Amazon SageMaker Model Monitor は、本番環境の Amazon SageMaker 機械学習モデルの品質をモニタリングします。リアルタイムエンドポイント (または定期的に実行されるバッチ変換ジョブ) による継続的なモニタリングや、非同期のバッチ変換ジョブの予定どおりのモニタリングを設定できます。Model Monitor では、モデルの品質に偏差がある場合に通知するアラートを設定できます。これらの偏差を早期かつ自動的に検出すると、モデルの再トレーニング、上流システムの監査、品質問題の修正などの修正措置を講じることができるようになります。手動でモデルを監視したり、追加のツールを構築したりする必要はありません。コーディングが不要な Model Monitor のビルド済みモニタリング機能を使用できます。また、カスタム分析を提供するコーディングによってモデルを柔軟に監視できます。
Model Monitor は次のタイプのモニタリング機能を提供します。
-
データ品質をモニタリングする - データ品質のドリフトを監視します。
-
モデル品質をモニタリングする - モデル品質メトリクス (精度など) のドリフトをモニタリングします。
-
本番稼働中のモデルのバイアスドリフトをモニタリングする - モデルの予測のバイアスをモニタリングします。
-
本番稼働中のモデルの特徴属性ドリフトをモニタリングする - 特徴属性のドリフトを監視します。
トピック
Model Monitor の仕組み
Amazon SageMaker Model Monitor は、本番環境の機械学習 (ML) モデルを自動的にモニタリングし、品質の問題が発生したときに通知します。Model Monitor は、ルールを使用してモデルのドリフトを検出し、ドリフトが発生した場合はアラートが表示されます。次の図は、モデルがリアルタイムエンドポイントにデプロイされた場合のこのプロセスの仕組みを示しています。
Model Monitor を使用して、リアルタイムエンドポイントの代わりにバッチ変換ジョブをモニタリングすることもできます。この場合、Model Monitor はエンドポイントへのリクエストを受信して予測を追跡する代わりに、推論の入出力をモニタリングします。次の図は、バッチ変換ジョブをモニタリングするプロセスを示しています。
モデルのモニタリングを有効にするには、以下のステップを実行します。これらのステップは、さまざまなデータ収集、モニタリング、および分析のプロセスを通じてデータの経路をたどります。
-
リアルタイムエンドポイントで、トレーニング済み ML モデルが受信したリクエストのデータや、結果として得られたモデル予測をキャプチャできるようにします。
-
バッチ変換ジョブでは、バッチ変換の入出力のデータキャプチャを可能にします。
-
モデルトレーニングに使用されたデータセットからベースラインを作成します。ベースラインはメトリクスを計算し、メトリクスの制約を提案します。モデルから得たリアルタイム予測またはバッチ予測はこの制約と比較され、制約値から外れている場合は違反として報告されます。
-
収集するデータ、収集する頻度、分析方法、作成するレポートを指定するモニタリングスケジュールを作成します。
-
最新のデータとベースラインを比較するレポートを検査し、報告された違反がないか、Amazon からのメトリクスと通知がないかを監視します CloudWatch。
メモ
-
Model Monitor は、表形式のデータのみに基づいてモデルメトリクスと統計を計算します。例えば、イメージを入力として受け取り、そのイメージに基づいてラベルを出力するイメージ分類モデルも引き続きモニタリングできます。Model Monitor は、入力ではなく出力のメトリクスと統計を計算できます。
-
Model Monitor は現在、単一モデルをホストするエンドポイントのみをサポートしており、マルチモデルエンドポイントのモニタリングはサポートしていません。マルチモデルエンドポイントの使用方法については、「1 つのエンドポイントの背後にある 1 つのコンテナで複数のモデルをホストする」を参照してください。
-
Model Monitor は、推論パイプラインのモニタリングをサポートしていますが、データのキャプチャと分析は、パイプライン内の個々のコンテナではなく、パイプライン全体に対して行われます。
-
推論リクエストへの影響を防ぐため、ディスク使用率のレベルが高くなると、データキャプチャはリクエストのキャプチャを停止します。データキャプチャがリクエストのキャプチャを続行できるように、ディスク使用率を 75% 未満に抑えることをお勧めします。
-
カスタム Amazon VPC で SageMaker Studio を起動する場合は、Model Monitor が Amazon S3 および と通信できるように VPC エンドポイントを作成する必要があります CloudWatch。詳細については、Amazon Virtual Private Cloud ユーザーガイドの「VPC エンドポイント」を参照してください。カスタム VPC で SageMaker Studio を起動する方法については、「」を参照してくださいVPC 内の Studio ノートブックを外部リソースに接続する。
モデルモニタのサンプルノートブック
リアルタイムエンドポイントで Model Monitor を使用して end-to-end ワークフロー全体を実行するサンプルノートブックについては、「Amazon SageMaker Model Monitor の概要
モニタリングスケジュールで選択した実行の statistics.json ファイルを視覚化するサンプルノートブックについては、「Model Monitor Visualization
で例を実行するために使用できる Jupyter Notebook インスタンスを作成してアクセスする方法を示す手順については SageMaker、「」を参照してくださいAmazon SageMaker Notebook インスタンス。ノートブックインスタンスを作成して開いたら、SageMaker 「例」タブを選択すると、すべての SageMaker サンプルのリストが表示されます。ノートブックを開くには、そのノートブックの [Use] (使用) タブを選択し、[Create copy] (コピーを作成) を選択します。
