Model Dashboard に関するよくある質問

Amazon SageMaker Model Dashboard は、アカウントで作成されたすべてのモデルの一元化されたリポジトリです。モデルは通常、SageMaker トレーニングジョブの出力ですが、他の場所でトレーニングされたモデルをインポートして SageMaker AI でホストすることもできます。Model Dashboard は、IT 管理者、モデルリスクマネージャー、ビジネスリーダーがデプロイされたすべてのモデルを追跡し、複数の AWS サービスからのデータを集約して、モデルのパフォーマンスに関する指標を提供する単一のインターフェイスを提供します。モデルエンドポイント、バッチ変換ジョブ、モニタリングジョブに関する詳細を表示して、モデルのパフォーマンスに関する追加情報を得ることができます。ダッシュボードの視覚表示により、モニターが欠落しているか無効になっているモデルをすばやく特定できるため、すべてのモデルのデータドリフト、モデルドリフト、バイアスドリフト、特徴量属性ドリフトを定期的にチェックできます。最後に、ダッシュボードではモデルの詳細情報に簡単にアクセスして詳しく調べられるため、ログ、インフラストラクチャ関連の情報、リソースにアクセスしてモニタリング障害のデバッグに役立てることができます。

SageMaker AI でトレーニングされているか、外部でトレーニングされた 1 つ以上のモデルを SageMaker AI で作成する必要があります。必須の前提条件ではありませんが、エンドポイントにデプロイされたモデルに対して Amazon SageMaker Model Monitor を使用してモデルモニタリングジョブを設定すれば、ダッシュボードを最大限に活用できます。

モデルリスクマネージャー、ML プラクティショナー、データサイエンティスト、ビジネスリーダーが Model Dashboard を使用すると、モデルの包括的な概要を把握できます。ダッシュボードは Amazon SageMaker Model Cards、エンドポイント、Model Monitor サービスからのデータを集約して表示し、モデルカードとモデルレジストリからのモデルメタデータ、モデルがデプロイされているエンドポイント、モデルモニタリングからのインサイトなどの貴重な情報を表示します。

Model Dashboard は Amazon SageMaker AI ですぐに使用でき、事前設定は必要ありません。ただし、SageMaker Model Monitor と Clarify を使用してモデルモニタリングジョブを設定した場合は、Amazon CloudWatch を使用して、モデルのパフォーマンスが許容範囲から外れたときにダッシュボードにフラグを立てるアラートを設定します。新しいモデルカードを作成してダッシュボードに追加し、エンドポイントに関連するすべてのモニタリング結果を表示できます。Model Dashboard では、現在、クロスアカウントモデルはサポートされていません。

Amazon SageMaker Model Monitor を使用すると、コードを記述することなく、モニタリングおよび分析するデータを選択できます。SageMaker Model Monitor では、オプションのメニューから予測出力などのデータを選択し、タイムスタンプ、モデル名、エンドポイントなどのメタデータをキャプチャして、モデル予測を分析できます。大量のリアルタイム予測の場合、データキャプチャのサンプリングレートをトラフィック全体のパーセンテージとして指定できます。このデータはご利用の Amazon S3 バケットに保存されます。また、このデータの暗号化、きめ細かなセキュリティ設定、データ保持ポリシーの定義、安全にアクセスするためのアクセス制御メカニズムの実装も可能です。

SageMaker Model Monitor は次のタイプのモデルモニターを提供します。

Model Monitor は現在、リアルタイム推論用の単一モデルをホストするエンドポイントをサポートしていますが、マルチモデルエンドポイントのモニタリングはサポートしていません。

次のリソースを使用して、モデルモニタリングを開始できます。

モデルモニタリングの例の詳細については、amazon-sagemaker-examples GitHub リポジトリの amazon-sagemaker-examples を参照してください。

Amazon SageMaker Model Monitor は、モデル内のドリフトを検出するルールを使用して、本番環境の機械学習モデルを自動的にモニタリングします。Model Monitor は、品質上の問題が発生するとアラートを使って通知します。詳細については、「Amazon SageMaker Model Monitor の仕組み」を参照してください。

Model Monitor は、表形式のデータのみに基づいてモデルメトリクスと統計を計算します。画像やテキストなど、表形式データセット以外のユースケースでは、独自のコンテナ (BYOC) を持ち込んでデータやモデルをモニタリングできます。例えば、BYOC を使用して、画像を入力として受け取ってラベルを出力する画像分類モデルをモニタリングできます。コンテナ契約の詳細については、「Amazon SageMaker Model Monitor を使用した独自のコンテナのサポート」を参照してください。

参考になる BYOC 例は、次のリンクにあります。

Model Monitor と Pipelines を統合する方法の詳細については、「Amazon Pipelines now integrates with SageMaker Model Monitor and SageMaker Clarify」を参照してください。

例については、GitHub サンプルノートブックの「Pipelines integration with Model Monitor and Clarify」を参照してください。

オンにすると、SageMaker AI エンドポイントでデータキャプチャが非同期的に行われます。推論リクエストへの影響を防ぐため、ディスク使用率のレベルが高くなると、DataCapture はリクエストのキャプチャを停止します。DataCapture がリクエストのキャプチャを続行できるように、ディスク使用率を 75% 未満に抑えることをお勧めします。