Déploiement de modèles non compressés

Lors du déploiement de modèles de machine learning, l'une des options consiste à archiver et à compresser les artefacts du modèle dans un format tar.gz. Bien que cette méthode fonctionne bien pour les petits modèles, la compression d'un artefact de modèle de grande taille contenant des centaines de milliards de paramètres, puis sa décompression sur un point de terminaison, peut prendre un temps considérable. Pour l'inférence de modèles de grande taille, nous vous recommandons de déployer un modèle de machine learning non compressé. Ce guide explique comment déployer un modèle de machine learning non compressé.

Pour déployer des modèles de machine learning non compressés, téléchargez tous les artefacts du modèle sur Amazon S3 et organisez-les sous un préfixe Amazon S3 commun. Un préfixe Amazon S3 est une chaîne de caractères située au début du nom d'une clé d'objet Amazon S3, séparée du reste du nom par un délimiteur. Pour plus d'informations sur les préfixes Amazon S3, consultez Organisation des objets à l'aide de préfixes.

Pour le déploiement avec SageMaker l'IA, vous devez utiliser une barre oblique (/) comme délimiteur. Vous devez vous assurer que seuls les artefacts associés à votre modèle de machine learning sont organisés avec le préfixe. Pour les modèles de machine learning dotés d'un seul artefact non compressé, le préfixe sera identique au nom de la clé. Vous pouvez vérifier quels objets sont associés à votre préfixe avec l' AWS CLI :

aws s3 ls --recursive s3://bucket/prefix

Après avoir chargé les artefacts du modèle sur Amazon S3 et les avoir organisés sous un préfixe commun, vous pouvez spécifier leur emplacement dans le ModelDataSourcechamp lorsque vous appelez la CreateModeldemande. SageMaker L'IA téléchargera automatiquement les artefacts du modèle non compressé à des /opt/ml/model fins d'inférence. Pour plus d'informations sur les règles utilisées par l' SageMaker IA lors du téléchargement des artefacts, consultez S3 ModelDataSource.

L'extrait de code suivant montre comment invoquer l'API CreateModel lors du déploiement d'un modèle non compressé. Remplacez italicized user text par vos propres informations.

model_name = "model-name"
sagemaker_role = "arn:aws:iam::123456789012:role/SageMakerExecutionRole"
container = "123456789012.dkr.ecr.us-west-2.amazonaws.com/inference-image:latest"

create_model_response = sagemaker_client.create_model(
    ModelName = model_name,
    ExecutionRoleArn = sagemaker_role,
    PrimaryContainer = {
        "Image": container,
        "ModelDataSource": {
            "S3DataSource": {
                "S3Uri": "s3://amzn-s3-demo-bucket/prefix/to/model/data/", 
                "S3DataType": "S3Prefix",
                "CompressionType": "None",
            },
        },
    },
)
    

L'exemple susmentionné suppose que les artefacts de votre modèle sont organisés sous un préfixe commun. Si, au contraire, votre artefact de modèle est un seul objet Amazon S3 non compressé, changez "S3Uri" pour pointer vers l'objet Amazon S3, puis remplacez "S3DataType" par "S3Object".