翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
非同期エンドポイントからメトリクスを追跡するためのアラームとログ
Amazon SageMaker を使用してモニタリングできます。 CloudWatchAmazon は生データを収集し、読み取り可能なほぼリアルタイムのメトリクスに処理します。Amazon を使用すると CloudWatch、履歴情報にアクセスし、ウェブアプリケーションまたはサービスのパフォーマンスをより適切に把握できます。Amazon の詳細については CloudWatch、「Amazon とは」を参照してください CloudWatch。
によるモニタリング CloudWatch
次のメトリクスは、非同期エンドポイントに対するメトリクスの網羅的なリストで、AWS/SageMaker 名前空間にあります。エンドポイントが非同期推論のために有効化されている場合、以下にリストされていないメトリクスは発行されません。該当するメトリクスは以下の通りです (ただし、以下に限定されません)。
OverheadLatency
呼び出し
InvocationsPerInstance
共通のエンドポイントメトリクス
これらのメトリクスは、現在リアルタイムエンドポイントについて発行されるメトリクスと同じです。Amazon の他のメトリクスの詳細については CloudWatch、「Amazon SageMaker でのモニタリング CloudWatch」を参照してください。
| メトリクス名 | 説明 | 単位/統計 |
|---|---|---|
|
モデルが 4xx HTTPレスポンスコードを返したリクエストの数。各 4xx レスポンスについて、1 が送信されます。それ以外の場合は 0 が送信されます。 |
単位: なし 有効な統計: 合計、平均 |
|
モデルが 5xx HTTPレスポンスコードを返した InvokeEndpoint リクエストの数。各 5xx レスポンスについて、1 が送信されます。それ以外の場合は 0 が送信されます。 |
単位: なし 有効な統計: 合計、平均 |
|
モデルが から見た応答にかかる時間。 SageMakerこの間隔には、リクエストを送信し、モデルのコンテナからレスポンスを取得するのにかかるローカル通信時間と、コンテナ内で推論を完了するのにかかる時間が含まれます。 |
単位: マイクロ秒 有効な統計: Average、Sum、Min、Max、Sample Count |
非同期推論エンドポイントメトリクス
これらのメトリクスが、非同期推論が有効なエンドポイントについて発行されます。次のメトリクスは、EndpointName ディメンションで発行されます。
| メトリクス名 | 説明 | 単位/統計 |
|---|---|---|
|
現在処理中またはまだ処理されていないエンドポイントに対するキュー内の項目の数。 |
単位: カウント 有効な統計: Average、Max、Min |
|
キュー内の項目数をエンドポイントの背後にあるインスタンス数で割った値。このメトリクスは主に、非同期対応エンドポイントに対するアプリケーションのオートスケーリングの設定に使用されます。 |
単位: カウント 有効な統計: Average、Max、Min |
|
キュー内の最も古いリクエストの経過時間。 |
単位: 秒 有効な統計: Average、Max、Min |
|
このメトリクスの値は、キューにリクエストがあるが、エンドポイントの後ろにゼロインスタンスがあるとき、 |
単位: 個 有効な統計: Average |
次のメトリクスは、EndpointName と VariantName ディメンションで発行されます。
| メトリクス名 | 説明 | 単位/統計 |
|---|---|---|
|
Amazon S3 からのリクエストのダウンロードの問題により推論障害が発生した場合。 |
単位: カウント 有効な統計: Sum |
|
Amazon S3 へのレスポンスのアップロードの問題により推論障害が発生した場合。 |
単位: カウント 有効な統計: Sum |
|
通知の発行で問題が発生した場合。 |
単位: カウント 有効な統計: Sum |
|
リクエストペイロードのダウンロードの合計時間。 |
単位: マイクロ秒 有効な統計: Average、Sum、Min、Max、Sample Count |
|
レスポンスペイロードのアップロードの合計時間。 |
単位: マイクロ秒 有効な統計: Average、Sum、Min、Max、Sample Count |
|
指定されたリクエスト に到達したために失敗したキュー内のリクエストの数TTL。 |
単位: カウント 有効な統計: Sum |
|
何らかの理由で呼び出しが失敗した場合。 |
単位: カウント 有効な統計: Sum |
|
エンドポイントによって処理された非同期呼び出しの数。 |
単位: カウント 有効な統計: Sum |
|
リクエストが処理される前にキューに入れられた合計時間。これには、実際の処理時間 (ダウンロード時間、アップロード時間、モデルのレイテンシーなど) は含まれません。 |
単位: ミリ秒 有効な統計: Average、Sum、Min、Max、Sample Count |
|
推論リクエストが によって受信された時刻 SageMaker から、リクエストの処理が完了した時刻。これには、バックログの時間、レスポンス通知をアップロードして送信する時間 (ある場合) が含まれます。 |
単位: ミリ秒 有効な統計: Average、Sum、Min、Max、Sample Count |
Amazon SageMaker 非同期推論には、ホストレベルのメトリクスも含まれます。ホストレベルのメトリクスの詳細については、SageMaker 「ジョブとエンドポイントメトリクス」を参照してください。
ログ
アカウント CloudWatch で Amazon に発行される Model コンテナログに加えて、推論リクエストを追跡およびデバッグするための新しいプラットフォームログも取得できます。
新しいログはエンドポイントロググループ下で発行されます。
/aws/sagemaker/Endpoints/[EndpointName]
ログストリーム名は次の値で構成されます。
[production-variant-name]/[instance-id]/data-log.
ログの行にはリクエストの推論 ID が含まれているため、エラーを特定のリクエストに簡単にマッピングできます。
