Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Code d’inférence personnalisé avec la transformation par lots
Cette section explique comment Amazon SageMaker AI interagit avec un conteneur Docker qui exécute votre propre code d'inférence pour la transformation par lots. Utilisez ces informations pour écrire du code d’inférence et créer une image Docker.
**Topics**
+ [Comment SageMaker l'IA gère votre image d'inférence](#your-algorithms-batch-code-run-image)
+ [Comment SageMaker l'IA charge les artefacts de votre modèle](#your-algorithms-batch-code-load-artifacts)
+ [Comment les conteneurs répondent-ils aux requêtes ?](#your-algorithms-batch-code-how-containe-serves-requests)
+ [Comment votre conteneur doit-il répondre aux requêtes d’inférence ?](#your-algorithms-batch-code-how-containers-should-respond-to-inferences)
+ [Comment votre conteneur doit-il répondre aux requêtes de surveillance de l’état (Ping) ?](#your-algorithms-batch-algo-ping-requests)
## Comment SageMaker l'IA gère votre image d'inférence
Pour configurer un conteneur et utiliser celui-ci en tant qu’exécutable, utilisez une instruction `ENTRYPOINT` dans un Dockerfile. Notez ce qui suit :
+ Pour les transformations par lots, l' SageMaker IA invoque le modèle en votre nom. SageMaker L'IA exécute le conteneur comme suit :
```
docker run image serve
```
L’entrée des transformations par lots doit être d’un format qui peut être divisé en fichiers plus petits à traiter en parallèle. Ces formats incluent CSV, [JSON, JSON](https://www.json.org/json-en.html) [Lines [TFRecord](https://www.tensorflow.org/tutorials/load_data/tfrecord)](https://jsonlines.org/)et [RecorDio](https://mesos.apache.org/documentation/latest/recordio/).
SageMaker L'IA remplace les `CMD` instructions par défaut dans un conteneur en spécifiant l'`serve`argument après le nom de l'image. L'argument `serve` remplace les arguments fournis avec la commande `CMD` dans le Dockerfile.
+ Nous vous recommandons d’utiliser le formulaire `exec` de l’instruction `ENTRYPOINT` :
```
ENTRYPOINT ["executable", "param1", "param2"]
```
Par exemple :
```
ENTRYPOINT ["python", "k_means_inference.py"]
```
+ SageMaker L'IA définit les variables d'environnement spécifiées dans [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)et [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)sur votre conteneur. En outre, les variables d’environnement suivantes sont renseignées :
+ `SAGEMAKER_BATCH` est défini sur `true` quand le conteneur exécute des transformations par lots.
+ `SAGEMAKER_MAX_PAYLOAD_IN_MB` est défini sur la charge utile la plus volumineuse envoyée au conteneur via HTTP.
+ `SAGEMAKER_BATCH_STRATEGY` est défini sur `SINGLE_RECORD` lorsque le conteneur reçoit un seul enregistrement par appel à des invocations et sur `MULTI_RECORD` lorsque le conteneur reçoit autant d’enregistrements que possible tenant dans les données utiles.
+ `SAGEMAKER_MAX_CONCURRENT_TRANSFORMS` est défini sur le nombre maximal de demandes `/invocations` pouvant être ouvertes simultanément.
**Note**
Les trois dernières variables d’environnement proviennent de l’appel d’API effectué par l’utilisateur. Si l’utilisateur ne définit pas de valeurs pour ces variables, elles ne sont pas transmises. Dans ce cas, les valeurs par défaut ou les valeurs demandées par l’algorithme (en réponse à `/execution-parameters`) sont utilisées.
+ Si vous prévoyez d’utiliser des dispositifs GPU pour les inférences de modèle (en spécifiant des instances de calcul ML basées sur des GPU dans votre demande `CreateTransformJob`), assurez-vous que vos conteneurs sont compatibles avec nvidia-docker. Ne regroupez pas des pilotes NVIDIA avec l’image. Pour plus d’informations sur nvidia-docker, consultez [NVIDIA/nvidia-docker](https://github.com/NVIDIA/nvidia-docker).
+ Vous ne pouvez pas utiliser l'`init`initialiseur comme point d'entrée dans les conteneurs SageMaker AI, car les arguments train et serve le confondent.
## Comment SageMaker l'IA charge les artefacts de votre modèle
Dans une demande [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html), les définitions de conteneur comprennent le paramètre `ModelDataUrl` qui identifie l’emplacement où les artefacts de modèle sont stockés dans Amazon S3. Lorsque vous utilisez l' SageMaker IA pour effectuer des inférences, elle utilise ces informations pour déterminer d'où copier les artefacts du modèle. Il copie les artefacts dans le répertoire `/opt/ml/model` du conteneur Docker afin qu’ils soient utilisés par votre code d’inférence.
Le paramètre `ModelDataUrl` doit pointer vers un fichier tar.gz. Sinon, SageMaker AI ne pourra pas télécharger le fichier. Si vous entraînez un modèle dans l' SageMaker IA, celui-ci enregistre les artefacts dans un seul fichier tar compressé dans Amazon S3. Si vous entraînez un modèle dans un autre framework, vous devez stocker les artefacts du modèle dans Amazon S3 sous forme de fichier tar compressé. SageMaker AI décompresse ce fichier tar et l'enregistre dans le `/opt/ml/model` répertoire du conteneur avant le début de la tâche de transformation par lots.
## Comment les conteneurs répondent-ils aux requêtes ?
Les conteneurs doivent mettre en œuvre un serveur web qui répond aux appels et aux requêtes ping sur le port 8080. Pour les transformations par lots, vous avez la possibilité de définir des algorithmes pour implémenter les demandes de paramètres d'exécution afin de fournir une configuration d'exécution dynamique à l' SageMaker IA. SageMaker L'IA utilise les points de terminaison suivants :
+ `ping`—Utilisé pour vérifier périodiquement l'état de santé du contenant. SageMaker L'IA attend un code d'`200`état HTTP et un corps vide en cas de réussite d'une requête ping avant d'envoyer une demande d'invocation. Vous pouvez utiliser une requête ping pour charger un modèle dans la mémoire pour générer l’inférence lorsque les requêtes d’appels sont envoyées.
+ (Facultatif) `execution-parameters` : autorise l’algorithme à fournir les paramètres de réglage optimaux pour une tâche lors de l’exécution. Sur la base de la mémoire et de la CPUs disponibilité pour un conteneur `MaxConcurrentTransforms``BatchStrategy`, l'algorithme choisit les `MaxPayloadInMB` valeurs appropriées pour la tâche.
Avant d'appeler la demande d'invocations, SageMaker AI tente d'invoquer la demande de paramètres d'exécution. Lorsque vous créez une tâche de transformation par lots, vous pouvez fournir des valeurs pour les `MaxPayloadInMB` paramètres `MaxConcurrentTransforms``BatchStrategy`, et. SageMaker L'IA détermine les valeurs de ces paramètres en utilisant cet ordre de priorité :
1. Les valeurs des paramètres que vous fournissez lorsque vous créez la requête `CreateTransformJob`.
1. Les valeurs renvoyées par le conteneur du modèle lorsque l' SageMaker IA invoque le point de terminaison des paramètres d'exécution>
1. Les valeurs des paramètres par défaut répertoriées dans le tableau suivant.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/your-algorithms-batch-code.html)
La réponse pour une requête de paramètres d’exécution `GET` est un objet JSON avec des clés pour les paramètres `MaxConcurrentTransforms`, `BatchStrategy` et `MaxPayloadInMB`. Voici un exemple de réponse valide :
```
{
“MaxConcurrentTransforms”: 8,
“BatchStrategy": "MULTI_RECORD",
"MaxPayloadInMB": 6
}
```
## Comment votre conteneur doit-il répondre aux requêtes d’inférence ?
Pour obtenir des inférences, Amazon SageMaker AI envoie une requête POST au conteneur d'inférence. Le corps de la requête POST contient des données provenant d’Amazon S3. Amazon SageMaker AI transmet la demande au conteneur et renvoie le résultat de l'inférence depuis le conteneur, en enregistrant les données de la réponse à Amazon S3.
Pour recevoir des demandes d’inférence, le conteneur doit avoir un serveur web à l’écoute sur le port 8080 et doit accepter les demandes POST envoyées au point de terminaison `/invocations`. Le délai d’expiration des demandes d’inférence et le nombre maximal de nouvelles tentatives peuvent être configurés via `[ModelClientConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelClientConfig.html)`.
## Comment votre conteneur doit-il répondre aux requêtes de surveillance de l’état (Ping) ?
L’exigence la plus simple concernant le conteneur consiste à répondre avec un code d’état HTTP 200 et un corps vide. Cela indique à l' SageMaker IA que le conteneur est prêt à accepter les demandes d'inférence au `/invocations` point de terminaison.
Bien que l’exigence minimale pour le conteneur soit de renvoyer un statique 200, un développeur de conteneur peut utiliser cette fonctionnalité pour effectuer des vérifications plus approfondies. Le délai d’attente des demandes `/ping` est de 2 secondes.