Amazon SageMaker Inference Recommender を使用したレコメンデーションジョブ

Amazon SageMaker Inference Recommender は、次の 2 種類のレコメンデーションを行うことができます。

どちらのタイプのレコメンデーションも、同じ APIs を使用してジョブを作成、記述、停止します。出力は、関連する環境変数、コスト、スループット、レイテンシーメトリクスに関連するインスタンス設定のレコメンデーションのリストです。レコメンデーションジョブには初期インスタンス数も用意されており、これを使用して自動スケーリングポリシーを設定できます。2 種類のジョブを区別するには、 SageMaker コンソールまたは を使用してジョブを作成するときに、 を指定Defaultして予備エンドポイントレコメンデーションを作成しAPIs、カスタムロードテストとエンドポイントレコメンデーションAdvancedを作成します。

Inference Recommender では、想定インスタンスのリスト、またはモデルデプロイのコスト、スループット、レイテンシーが最適化された上位 5 つのインスタンスタイプを、信頼度スコアとともに提供することもできます。これらのインスタンスは、モデルをデプロイする際に選択できます。Inference Recommender はモデルに対して自動的にベンチマークを行い、想定インスタンスを提供します。これらは予備的なレコメンデーションであるため、より正確な結果を得るには、さらにインスタンスレコメンデーションジョブを実行することをお勧めします。プロスペクティブインスタンスを表示するには、 SageMaker モデルの詳細ページに移動します。詳細については、「想定インスタンスを即時に入手する」を参照してください。