View a markdown version of this page

Menyebarkan Model yang Dikompilasi Menggunakan AWS CLI - Amazon SageMaker AI
Menyebarkan Model

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan Model yang Dikompilasi Menggunakan AWS CLI

Anda harus memenuhi bagian prasyarat jika model dikompilasi menggunakan AWS SDK for Python (Boto3) AWS CLI,, atau konsol Amazon SageMaker AI. Ikuti langkah-langkah di bawah ini untuk membuat dan menerapkan SageMaker Neo-compiled model menggunakan AWS CLI.

Menyebarkan Model

Setelah Anda memenuhi prasyarat, gunakan create-endpoint AWS CLI perintah create-modelcreate-enpoint-config,, dan. Langkah-langkah berikut menjelaskan cara menggunakan perintah ini untuk menerapkan model yang dikompilasi dengan Neo:

Buat Model

Dari Neo Inference Container Images, pilih URI gambar inferensi dan kemudian gunakan create-model API untuk membuat model SageMaker AI. Anda dapat melakukan ini dengan dua langkah:

  1. Buat create_model.json file. Di dalam file, tentukan nama model, URI gambar, jalur ke model.tar.gz file di bucket Amazon S3 Anda, dan peran eksekusi SageMaker AI Anda: 

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    Jika Anda melatih model menggunakan SageMaker AI, tentukan variabel lingkungan berikut: 

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    Jika Anda tidak melatih model Anda menggunakan SageMaker AI, tentukan variabel lingkungan berikut:

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    catatan

    AmazonS3ReadOnlyAccessKebijakan AmazonSageMakerFullAccess dan harus dilampirkan pada peran AmazonSageMaker-ExecutionRole IAM.

  2. Jalankan perintah berikut:

    aws sagemaker create-model --cli-input-json file://create_model.json

    Untuk sintaks lengkap create-model API, lihat create-model.

Membuat Konfigurasi Endpoint

Setelah membuat model SageMaker AI, buat konfigurasi titik akhir menggunakan create-endpoint-config API. Untuk melakukan ini, buat file JSON dengan spesifikasi konfigurasi titik akhir Anda. Misalnya, Anda dapat menggunakan template kode berikut dan menyimpannya sebagaicreate_config.json: 

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Sekarang jalankan AWS CLI perintah berikut untuk membuat konfigurasi endpoint Anda: 

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Untuk sintaks lengkap create-endpoint-config API, lihat create-endpoint-config.

Buat Endpoint

Setelah Anda membuat konfigurasi titik akhir, buat titik akhir menggunakan create-endpoint API: 

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Untuk sintaks lengkap create-endpoint API, lihat create-endpoint.