でのモデルデプロイ SageMaker

本番稼働用のモデルをトレーニングして承認したら、 SageMaker を使用してモデルをエンドポイントにデプロイし、リアルタイムの推論を行います。 は、ワークロードに最適なオプションを選択できるように、複数の推論オプション SageMaker を提供します。また、最適なパフォーマンスを得るために必要なインスタンスタイプとインスタンス数を選択してエンドポイントを設定します。デプロイポリシーの詳細については、「推論のためのモデルをデプロイする」を参照してください。

モデルを本番環境にデプロイしたら、現在のモデルの可用性を維持しながら、モデルのパフォーマンスをさらに最適化する方法を模索したくなるかもしれません。例えば、変更にコミットする前に別のモデルまたはモデルサービングインフラストラクチャを試すようにシャドウテストを設定できます。 は、新しいモデル、コンテナ、またはインスタンスをシャドウモードで SageMaker デプロイし、同じエンドポイント内で推論リクエストのコピーをリアルタイムでルーティングします。シャドウバリアントの応答を比較できるようにログに記録できます。シャドウテストの詳細については、「シャドウテスト」を参照してください。先に進んでモデルを変更する場合は、デプロイガードレールによって現在のモデルから新しいモデルへの切り替えを制御できます。トラフィックシフトプロセスのブルー/グリーンテストやカナリアテストなどの方法を選択して、更新中もきめ細かな制御を維持できます。デプロイガードレールの詳細については、「本番環境でモデルを更新するためのデプロイガードレール」を参照してください。