View a markdown version of this page

Déployez un modèle compilé à l'aide du AWS CLI - Amazon SageMaker AI
Déploiement du modèle

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déployez un modèle compilé à l'aide du AWS CLI

Vous devez satisfaire à la section des prérequis si le modèle a été compilé à l'aide AWS SDK for Python (Boto3) de la console Amazon AI ou de la console Amazon SageMaker AI. AWS CLI Suivez les étapes ci-dessous pour créer et déployer un SageMaker Neo-compiled modèle à l'aide du AWS CLI.

Déploiement du modèle

Une fois que vous avez satisfait aux prérequis, utilisez les create-endpoint AWS CLI commandes create-modelcreate-enpoint-config, et. Les étapes suivantes expliquent comment utiliser ces commandes pour déployer un modèle compilé avec Neo :

Création d'un modèle

Dans Neo Inference Container Images, sélectionnez l'URI de l'image d'inférence, puis utilisez l'create-modelAPI pour créer un modèle d' SageMaker IA. Vous pouvez effectuer cette opération en deux étapes :

  1. Créez un fichier create_model.json. Dans le fichier, indiquez le nom du modèle, l'URI de l'image, le chemin d'accès au model.tar.gz fichier dans votre compartiment Amazon S3 et votre rôle d'exécution de l' SageMaker IA : 

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    Si vous avez entraîné votre modèle à l'aide de l' SageMaker IA, spécifiez la variable d'environnement suivante : 

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    Si vous n'avez pas entraîné votre modèle à l'aide de l' SageMaker IA, spécifiez les variables d'environnement suivantes :

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    Note

    Les politiques AmazonSageMakerFullAccess et AmazonS3ReadOnlyAccess doivent être attachées au rôle IAM AmazonSageMaker-ExecutionRole.

  2. Exécutez la commande suivante :

    aws sagemaker create-model --cli-input-json file://create_model.json

    Pour obtenir la syntaxe complète de l'API create-model, consultez create-model.

Création d'une configuration de point de terminaison

Après avoir créé un modèle d' SageMaker IA, créez la configuration des terminaux à l'aide de l'create-endpoint-configAPI. Pour ce faire, créez un fichier JSON avec les spécifications de votre configuration de point de terminaison. Par exemple, vous pouvez utiliser le modèle de code suivant et l'enregistrer comme create_config.json : 

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Exécutez maintenant la AWS CLI commande suivante pour créer la configuration de votre terminal : 

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Pour obtenir la syntaxe complète de l'API create-endpoint-config, consultez create-endpoint-config.

Création d’un point de terminaison

Après avoir créé votre configuration de point de terminaison, créez un point de terminaison à l'aide de l'API create-endpoint : 

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Pour obtenir la syntaxe complète de l'API create-endpoint, consultez create-endpoint.