使用 部署編譯模型 AWS CLI - Amazon SageMaker
部署模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 部署編譯模型 AWS CLI

如果模型是使用 AWS SDK for Python (Boto3)、 或 Amazon SageMaker 主控台編譯的 AWS CLI，您必須滿足先決條件區段。請依照下列步驟，使用 建立和部署 SageMaker 新編譯模型AWS CLI。

部署模型

滿足先決條件 之後，請使用 create-model、 create-enpoint-config和 create-endpoint AWS CLI 命令。下列步驟說明，如何使用這些命令部署使用 Neo 編譯的模型：

建立模型

從 Neo 推論容器映像 中選取推論映像，URI然後使用 create-modelAPI建立 SageMaker 模型。您可用兩個步驟完成這項工作：

  1. 建立 create_model.json 檔案。在 檔案中，指定模型的名稱、映像 URI、Amazon S3 儲存貯體中model.tar.gz檔案的路徑，以及您的 SageMaker執行角色：

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    如果您使用 訓練模型 SageMaker，請指定下列環境變數：

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    如果您未使用 訓練模型 SageMaker，請指定下列環境變數：

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    注意

    AmazonSageMakerFullAccess 和 AmazonS3ReadOnlyAccess政策必須連接至AmazonSageMaker-ExecutionRoleIAM角色。

  2. 執行以下命令：

    aws sagemaker create-model --cli-input-json file://create_model.json

    如需 的完整語法create-modelAPI，請參閱 create-model。

建立一個端點組態

建立 SageMaker 模型後，請使用 create-endpoint-config 建立端點組態API。若要執行此操作，請使用您的端點組態規格建立JSON檔案。例如，您可使用下列程式碼範本並將其儲存為 create_config.json：

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

現在請執行下列 AWS CLI 命令來建立您的端點組態：

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

如需 create-endpoint-config 的完整語法API，請參閱 create-endpoint-config。

建立端點

建立端點組態之後，請使用 create-endpoint 建立端點API：

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

如需 的完整語法create-endpointAPI，請參閱 create-endpoint。