シャドウテストを監視する - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

シャドウテストを監視する

シャドウテストの詳細を表示し、進行中または完了後にモニタリングできます。 は、本番およびシャドウバリアントのモデルレイテンシーやエラー率の集計などの運用メトリクスを比較するライブダッシュボード SageMaker を表示します。

コンソールで個別のテストの詳細を表示するには、次の作業を行います。

  1. [シャドウテスト] ページの [シャドウテスト] セクションから、監視するテストを選択します。

  2. [アクション] ドロップダウンリストから、[表示] を選択します。テストの詳細が含まれる概要ページとメトリクスダッシュボードが表示されます。

概要ページには次の 3 つのセクションがあります。

[概要]

このセクションには、テストの進行状況とステータスの概要が表示されます。また、[メトリクス] サブセクションの [メトリクスの選択] ドロップダウンリストから選択したメトリクスのサマリー統計も表示されます。次のスクリーンショットは、このセクションを示しています。

概要ページのサマリー統計。

前述のスクリーンショットにおいて、[設定] タブと [詳細] タブに、選択した設定とテストの作成時に入力した詳細が表示されています。

分析

このセクションには、次のメトリクスを個別のグラフで示すメトリクスダッシュボードが表示されます:

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

最後の 3 つのメトリクスは、モデルコンテナのランタイムリソースの使用状況を監視します。残りは、 CloudWatchバリアントのパフォーマンスを分析するために使用できるメトリクスです。一般的に、エラーが少ないほどモデルが安定していることを示します。レイテンシーが低いほど、モデルが高速であるか、インフラストラクチャが高速であることを示しています。 CloudWatch メトリクスの詳細については、「」を参照してくださいSageMaker エンドポイント呼び出しメトリクス。次のスクリーンショットは、メトリクスダッシュボードを示しています。

メトリクス分析のダッシュボード。
環境

このセクションには、テストで比較したバリアントが表示されます。シャドウバリアントのパフォーマンスに満足した場合、前述のメトリクスに基づき、[シャドウバリアントをデプロイ] を選択してシャドウバリアントを本番稼働用バリアントに昇格できます。シャドウバリアントのデプロイの詳細については、「シャドウバリアントを昇格させる」を参照してください。また、[トラフィックを編集] を選択してトラフィックのサンプリング率を変更し、テストを続行することもできます。シャドウバリアントの編集の詳細については、「シャドウテストを編集する」を参照してください。次のスクリーンショットは、このセクションを示しています。

概要ページの環境セクション。