翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker Model Dashboard
Amazon SageMaker Model Dashboard は一元化されたポータルで、SageMaker AI コンソールからアクセスでき、アカウント内のすべてのモデルを表示、検索、探索できます。どのモデルが推論用にデプロイされているか、バッチ変換ジョブに使用されているのか、エンドポイントでホストされているのかを追跡できます。Amazon SageMaker Model Monitor でモニターを設定すると、ライブデータでリアルタイム予測を行うモデルのパフォーマンスを追跡することもできます。ダッシュボードを使用して、データ品質、モデル品質、バイアス、説明可能性について設定したしきい値に違反するモデルを見つけることができます。ダッシュボードにはすべてのモニタリング結果が包括的に表示されるため、これらのメトリクスが設定されていないモデルをすばやく特定できます。
Model Dashboard は、いくつかの SageMaker AI 機能からモデル関連情報を集約します。Model Monitor で提供されるサービスの他に、モデルカードを表示したり、ワークフローのリネージを視覚化したり、エンドポイントのパフォーマンスを追跡したりできます。必要なデータを収集するために、ログをソートしたり、ノートブックでクエリを実行したり、他の AWS サービスにアクセスしたりする必要がなくなりました。SageMaker AI の Model Dashboard は、一貫性のあるユーザーエクスペリエンスと既存のサービスへの統合により、すべてのモデルにわたって高品質のカバレッジを確保するのに役立つout-of-the-boxモデルガバナンスソリューションを提供します。
前提条件
Model Dashboard を使用するには、アカウントに 1 つ以上のモデルが必要です。Amazon SageMaker AI を使用してモデルをトレーニングしたり、他の場所でトレーニングしたモデルをインポートしたりできます。SageMaker AI でモデルを作成するには、 CreateModel API を使用できます。詳細については、「CreateModel」を参照してください。Amazon SageMaker Studio Classic など、Amazon SageMakerが提供する ML 環境を使用することもできます。この環境には、モデルトレーニングとデプロイをセットアップするプロジェクトテンプレートが用意されています。Studio Classic の使用を開始する方法の詳細については、「Amazon SageMaker Studio Classic」を参照してください。
必須の前提条件ではありませんが、エンドポイントにデプロイされたモデルに対して SageMaker Model Monitor を使用してモデルモニタリングジョブを設定すれば、顧客はダッシュボードを最大限に活用できます。SageMaker Model Monitor の使用方法に関する前提条件と手順については、「Amazon SageMaker Model Monitor を使用したデータとモデルの品質モニタリング」を参照してください。
Model Dashboard の要素
Model Dashboard ビューでは、各モデルから大まかな詳細を引き出して、アカウント内の各モデルの包括的な概要を表示します。推論目的でモデルをデプロイする場合、モデルとエンドポイントのパフォーマンスをリアルタイムで追跡するのにダッシュボードが役立ちます。
このページで強調すべき重要な詳細は次のとおりです。
-
リスク評価: モデルカードにあるユーザー指定のパラメータで、[低]、[中]、[高] の値があります。モデルカードのリスク評価は、モデルの予測がビジネスに与える影響を分類して測定するものです。モデルはさまざまなビジネス用途に使用され、それぞれが異なるレベルのリスクを想定しています。例えば、サイバー攻撃を誤って検出すると、メールを誤って分類するよりもビジネスにははるかに大きな影響があります。モデルリスクがわからない場合は、[不明] に設定できます。Amazon SageMaker Model Cards の詳細については、「Model Cards」を参照してください。
-
Model Monitor アラート: Model Monitor アラートは Model Dashboard の主な焦点であり、SageMaker AI が提供するさまざまなモニターに関する既存のドキュメントを確認することは、使用を開始するのに役立ちます。SageMaker Model Monitor の機能とサンプル ノートブックの詳細については、「Amazon SageMaker Model Monitor を使用したデータとモデルの品質モニタリング」を参照してください。
Model Dashboard には、以下のモニタータイプ別の Model Monitor のステータス値が表示されます。
-
データ品質: ライブデータをトレーニングデータと比較します。両者が異なると、モデルの推論が正確でなくなる可能性があります。データ品質モニターの詳細については、「データ品質」を参照してください。
-
モデル品質: モデルが行う予測と、モデルが予測しようとする実際の Ground Truth ラベルを比較します。モデル品質モニターの詳細については、「モデルの質」を参照してください。
-
バイアスドリフト: ライブデータの分布をトレーニングデータと比較します。これによって予測が不正確になることもあります。バイアスドリフトモニターの詳細については、「本番稼働用モデルのバイアスドリフト」を参照してください。
-
特徴量属性ドリフト: 説明可能性ドリフトとも呼ばれます。トレーニングデータ内の特徴量の相対的な順位をライブデータと比較します。これはバイアスドリフトの結果である可能性もあります。特徴量属性ドリフトモニターの詳細については、「本番稼働用モデルの Feature Attribution ドリフト」を参照してください。
Model Monitor の各ステータスは、以下のいずれかの値になります。
-
なし: モニターはスケジュールされていない
-
非アクティブ: モニターはスケジュールされていたが、非アクティブ化された
-
OK: モニターはスケジュールされていてアクティブだが、最近のモデルモニターの実行でアラートを出すのに必要な数の違反が発生していない
-
日時: 指定された日時にアクティブなモニターがアラートを生成した
-
-
エンドポイント: リアルタイム推論のためにモデルをホストするエンドポイント。Model Dashboard では、エンドポイント列を選択すると、エンドポイントの CPU、GPU、ディスク、メモリ使用率などのパフォーマンスメトリクスをリアルタイムで表示できるため、コンピューティングインスタンスのパフォーマンスを追跡するのに役立ちます。
-
バッチ変換ジョブ: このモデルを使用して実行された最新のバッチ変換ジョブ。この列は、モデルがバッチ推論に積極的に使用されているかどうかを判断するのに役立ちます。
-
モデルの詳細: ダッシュボードの各エントリはモデルの詳細ページにリンクしており、そこで個々のモデルをより深く掘り下げることができます。モデルのリネージグラフにアクセスして、データの準備からデプロイまでのワークフローと各ステップのメタデータを視覚化できます。また、モデルカードの作成と表示、アラートの詳細と履歴の確認、リアルタイムエンドポイントのパフォーマンスの評価、その他のインフラストラクチャ関連の詳細へのアクセスも可能です。
