Amazon SageMaker Model Monitor を使用したデータとモデルの品質モニタリング - Amazon SageMaker AI
仕組み

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker Model Monitor を使用したデータとモデルの品質モニタリング

Amazon SageMaker Model Monitor は、本番環境の Amazon SageMaker AI 機械学習モデルの品質をモニタリングします。Model Monitor を使用すると、以下を設定できます。

  • リアルタイムエンドポイントを使用した継続的なモニタリング

  • 定期的に実行されるバッチ変換ジョブを使用した継続的なモニタリング

  • 非同期バッチ変換ジョブのスケジュールに沿ったモニタリング

Model Monitor では、モデルの品質に偏差がある場合に通知するアラートを設定できます。のような偏差を早期かつ積極的に検出することで、是正措置を講じることができます。モデルを手動でモニタリングしたり、追加のツールを構築したりする必要なく、モデルの再トレーニング、上流システムの監査、品質問題の修正などの措置を講じることができます。コーディングが不要な Model Monitor のビルド済みモニタリング機能を使用できます。また、カスタム分析を提供するコーディングによってモデルを柔軟に監視できます。

Model Monitor は次のタイプのモニタリング機能を提供します。

トピック

Amazon SageMaker Model Monitor の仕組み

Amazon SageMaker Model Monitor は本番稼働の機械学習 (ML) モデルを自動的にモニタリングして、品質問題が発生した場合には通知します。Model Monitor は、ルールを使用してモデルのドリフトを検出し、ドリフトが発生した場合はアラートが表示されます。次の図は、モデルがリアルタイムエンドポイントにデプロイされた場合のこのプロセスの仕組みを示しています。

Amazon SageMaker Model Monitor を使用したモデルのモニタリングプロセス。

Model Monitor を使用して、リアルタイムエンドポイントの代わりにバッチ変換ジョブをモニタリングすることもできます。この場合、Model Monitor はエンドポイントへのリクエストを受信して予測を追跡する代わりに、推論の入出力をモニタリングします。次の図は、バッチ変換ジョブをモニタリングするプロセスを示しています。

Amazon SageMaker Model Monitor を使用したモデルのモニタリングプロセス。

モデルのモニタリングを有効にするには、次の手順を実行します。この手順では、さまざまなデータ収集プロセス、モニタリングプロセス、分析プロセスを通じたデータの経路をたどります。

  • リアルタイムエンドポイントで、トレーニング済み ML モデルが受信したリクエストのデータや、結果として得られたモデル予測をキャプチャできるようにします。

  • バッチ変換ジョブでは、バッチ変換の入出力のデータキャプチャを可能にします。

  • モデルトレーニングに使用されたデータセットからベースラインを作成します。ベースラインはメトリクスを計算し、メトリクスの制約を提案します。モデルからのリアルタイム予測またはバッチ予測が、制約と比較されます。制約値を外れた場合、違反として報告されます。

  • 収集するデータ、収集する頻度、分析方法、作成するレポートを指定するモニタリングスケジュールを作成します。

  • 最新のデータとベースラインを比較するレポートを検査します。Amazon CloudWatch から報告された違反、メトリクス、通知がないかを監視します。

メモ

  • Model Monitor は、表形式のデータのみに基づいてモデルメトリクスと統計を計算します。例えば、イメージを入力として受け取り、そのイメージに基づいてラベルを出力するイメージ分類モデルも引き続きモニタリングできます。Model Monitor は、入力ではなく出力のメトリクスと統計を計算できます。

  • Model Monitor は現在、単一モデルをホストするエンドポイントのみをサポートしており、マルチモデルエンドポイントのモニタリングはサポートしていません。マルチモデルエンドポイントの使用方法については、「マルチモデルエンドポイント」を参照してください。

  • Model Monitor は、推論パイプラインのモニタリングをサポートしています。ただし、データのキャプチャと分析はパイプライン内の個別のコンテナではなく、パイプライン全体に対して実行されます。

  • 推論リクエストへの影響を防ぐため、ディスク使用率のレベルが高くなると、データキャプチャはリクエストのキャプチャを停止します。データキャプチャがリクエストのキャプチャを継続して実行できるように、ディスク使用率は 75% 未満に維持することをお勧めします。

  • カスタム Amazon VPC で SageMaker Studio を起動する場合は、Model Monitor が Amazon S3 および CloudWatch と通信できるように VPC エンドポイントを作成する必要があります。詳細については、Amazon Virtual Private Cloud ユーザーガイドの「VPC エンドポイント」を参照してください。カスタム VPC で SageMaker Studio を起動する方法については、「VPC 内の Studio ノートブックを外部リソースに接続する」を参照してください。

Model Monitor のサンプルノートブック

リアルタイムエンドポイントで Model Monitor を使用した、エンドツーエンドのワークフロー全体にわたって説明するサンプルノートブックについては、「Introduction to Amazon SageMaker Model Monitor」を参照してください。

モニタリングスケジュールで選択した実行の statistics.json ファイルを視覚化するサンプルノートブックについては、「Model Monitor Visualization」を参照してください。

SageMaker AI でサンプルを実行するために使用できる Jupyter ノートブックインスタンスを作成してアクセスする方法については、「」を参照してくださいAmazon SageMaker ノートブックインスタンス。ノートブックインスタンスを作成して開いたら、SageMaker AI Examples タブを選択して、すべての SageMaker AI サンプルのリストを表示します。ノートブックを開くには、そのノートブックの [Use] (使用) タブを選択し、[Create copy] (コピーを作成) を選択します。