部署模型

若要將 Amazon SageMaker Neo 編譯的模型部署至HTTPS端點，您必須使用 Amazon SageMaker 託管服務來設定和建立模型的端點。目前，開發人員可以使用 Amazon SageMaker APIs 將模組部署至 ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2 和 ml.inf1 執行個體。

如果是 Inferentia 和 Trainium 執行個體，則需要特別針對那些執行個體編譯模型。針對其他執行個體類型編譯的模型，不保證適用於 Inferentia 或 Trainium 執行個體。

當您部署已編譯的模型時，目標使用的執行個體需要和編譯使用的執行個體相同。這會建立可用來執行推論的 SageMaker 端點。您可以使用下列任一項部署新編譯的模型：Amazon SageMaker SDK for Python 、 SDK for Python （Boto3）、 AWS Command Line Interface和 SageMaker主控台 。