レコメンデーション結果

各 Inference Recommender ジョブの結果には InstanceType、InitialInstanceCount、EnvironmentParameters が含まれます。これらは、コンテナのレイテンシーとスループットを改善するためにコンテナに合わせて調整された環境変数パラメータです。結果には、MaxInvocations、ModelLatency、CostPerHour、CostPerInference、CpuUtilization、MemoryUtilization などのパフォーマンスとコストのメトリクスも含まれます。

以下の表では、これらのメトリクスについて説明します。これらのメトリクスは、ユースケースに最適なエンドポイント構成の検索対象を絞り込むのに役立ちます。たとえば、スループットを重視した全体的な価格性能が動機である場合は、CostPerInference に注目する必要があります。

などの他の SageMaker Endpoint Invocation メトリクスを調べる場合がありますCPUUtilization。すべての Inference Recommender ジョブの結果には、ロードテスト中にスピンアップされたエンドポイントの名前が含まれます。 CloudWatch を使用して、これらのエンドポイントが削除された後でもログを確認できます。

次の図は、レコメンデーション結果から単一のエンドポイントについて確認できる CloudWatch メトリクスとグラフの例です。この推奨結果はデフォルトジョブのものです。推奨結果のスカラー値を解釈する基準は、呼び出しグラフが最初に横ばいになり始めた時点です。たとえば、報告された ModelLatency 値は、03:00:31 あたりに横ばいになり始めています。

前述のグラフで使用される CloudWatch メトリクスの詳細については、SageMaker 「エンドポイント呼び出しメトリクス」を参照してください。

/aws/sagemaker/InferenceRecommendationsJobs 名前空間には Inference Recommender によって発行された ClientInvocations や NumberOfUsers のようなパフォーマンスメトリクスも表示されます。Inference Recommender によって発行されたメトリクスと説明の完全なリストについては、「SageMaker Inference Recommender ジョブのメトリクス」を参照してください。

for Python (Boto3) を使用して AWS SDKエンドポイントの CloudWatch メトリクスを調べる方法の例については、amazon-sagemaker-examplesGithub リポジトリの Amazon SageMaker Inference Recommender - CloudWatch Metrics Jupyter Notebook を参照してください。