モデルのデプロイ

Amazon SageMaker Neo コンパイルモデルをHTTPSエンドポイントにデプロイするには、Amazon SageMaker ホスティングサービスを使用してモデルのエンドポイントを設定および作成する必要があります。現在、デベロッパーは Amazon SageMaker APIs を使用して、モジュールを ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2、ml.inf1 インスタンスにデプロイできます。

Inferentia インスタンスと Trainium インスタンスの場合、モデルはそれらのインスタンス専用にコンパイルする必要があります。他のインスタンスタイプ用にコンパイルされたモデルは、Inferentia インスタンスまたは Trainium インスタンスでの動作は保証されません。

コンパイル済みモデルをデプロイするときは、コンパイルに使用したものと同じインスタンスをターゲットに使用する必要があります。これにより、推論の実行に使用できる SageMaker エンドポイントが作成されます。Amazon SageMaker SDK for Python 、 for Python SDK (Boto3)、AWS Command Line Interface、コンソール のいずれかを使用して、Neo コンパイルモデルをデプロイできますSageMaker。