直接呼び出しが設定されたマルチコンテナエンドポイントのメトリクス - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

直接呼び出しが設定されたマルチコンテナエンドポイントのメトリクス

に記載されているエンドポイントメトリクスに加えてAmazon SageMaker で Amazon をモニタリングするためのメトリクス CloudWatch、 はコンテナごとのメトリクス SageMaker も提供します。

直接呼び出しを使用するマルチコンテナエンドポイントのコンテナごとのメトリクスは、 に配置され、 CloudWatch と AWS/SageMaker の 2 つの名前空間に分類されますaws/sagemaker/Endpoints。AWS/SageMaker 名前空間には呼び出し関連のメトリクスが含まれ、aws/sagemaker/Endpoints名前空間にはメモリとCPU使用率のメトリクスが含まれます。

次の表は、直接呼び出しが設定されたマルチコンテナエンドポイントの、コンテナ単位のメトリクスを示しています。すべてのメトリクスは [EndpointName, VariantName, ContainerName] ディメンションを使います。特定のバリアントと特定のコンテナに対応するディメンションは、特定のエンドポイントのメトリクスをフィルタリングします。これらのメトリクスは、推論パイプラインのメトリクス名と同じメトリクス名を共有しますが、共有レベルはコンテナ単位 [EndpointName, VariantName, ContainerName] です。

メトリクス名 説明 ディメンション NameSpace
Invocations エンドポイント内のコンテナに送信された InvokeEndpoint リクエストの数。そのコンテナに送信されたリクエストの合計数を得るには、Sum 統計を使います。単位: なし、有効な統計: Sum、Sample Count EndpointName, VariantName, ContainerName AWS/SageMaker
Invocation4XX Errors モデルが特定のコンテナで の4xxHTTPレスポンスコードを返したInvokeEndpointリクエストの数。4xx レスポンスごとに、 は SageMaker を送信します1。単位: なし、有効な統計: Average、Sum EndpointName, VariantName, ContainerName AWS/SageMaker
Invocation5XX Errors モデルが特定のコンテナで の5xxHTTPレスポンスコードを返したInvokeEndpointリクエストの数。5xx レスポンスごとに、 は SageMaker を送信します1。単位: なし、有効な統計: Average、Sum EndpointName, VariantName, ContainerName AWS/SageMaker
ContainerLatency から見たターゲットコンテナが から応答するまでにかかる時間 SageMaker。 ContainerLatencyには、リクエストの送信、モデルのコンテナからの応答の取得、コンテナ内の推論の完了にかかる時間が含まれます。単位: マイクロ秒、有効な統計: Average、Sum、Min、Max、Sample Count EndpointName, VariantName, ContainerName AWS/SageMaker
OverheadLatency オーバーヘッド SageMaker に対して がクライアントリクエストに応答するのにかかった時間に追加されます。 OverheadLatencyは、リクエスト SageMaker を受信してからクライアントにレスポンスを返すまでの時間から を引いた値で測定されますModelLatency。オーバーヘッドのレイテンシーは、リクエストとレスポンスのペイロードサイズ、リクエストの頻度、リクエストの認証、認可などの要因によって異なります。単位: マイクロ秒、有効な統計: Average、Sum、Min、Max、Sample Count EndpointName, VariantName, ContainerName AWS/SageMaker
CPUUtilization インスタンスで実行されている各コンテナで使用されるCPUユニットの割合。値の範囲は 0%～100% で、 の数を掛けますCPUs。例えば、 が 4 つある場合CPUs、 CPUUtilization は 0% から 400% の範囲になります。直接呼び出しがあるエンドポイントの場合、CPUUtilizationメトリクスの数は、そのエンドポイント内のコンテナの数に等しくなります。単位: パーセント EndpointName, VariantName, ContainerName aws/sagemaker/Endpoints
MemoryUtilizaton インスタンスで実行されているコンテナが使っているメモリの割合。この値は 0%～100% です。と同様にCPUUtilization、直接呼び出しがあるエンドポイントでは、 MemoryUtilization メトリクスの数は、そのエンドポイント内のコンテナの数に等しくなります。単位: パーセント EndpointName, VariantName, ContainerName aws/sagemaker/Endpoints

上表のすべてのメトリクスは、直接呼び出しが設定されたマルチコンテナエンドポイントに固有のものです。これらの特別なコンテナ単位のメトリクスの他に、表内のすべてのメトリクスには、ディメンション [EndpointName, VariantName] のバリアントレベルのメトリクスもあります (ContainerLatency を除く)。