Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Hébergez plusieurs modèles dans un conteneur derrière un point de terminaison

Les points de terminaison multimodèles offrent une solution évolutive et économique pour le déploiement d'un grand nombre de modèles. Ils utilisent la même flotte de ressources et un conteneur de service partagé pour héberger tous vos modèles. Cela réduit les coûts d'hébergement en améliorant l'utilisation des points de terminaison par rapport à l'utilisation des points de terminaison à modèle unique. Cela réduit également les frais de déploiement, car Amazon SageMaker gère le chargement des modèles en mémoire et leur dimensionnement en fonction des modèles de trafic vers votre terminal.

Le diagramme suivant montre comment les points de terminaison multi-modèles fonctionnent par rapport aux points de terminaison à modèle unique.

Les points de terminaison multi-modèles sont idéaux pour héberger un grand nombre de modèles utilisant le même cadre de ML sur un conteneur de service partagé. Si vous disposez d'une combinaison de modèles fréquemment et peu utilisés, un point de terminaison multi-modèle peut traiter efficacement ce trafic avec moins de ressources et des économies de coûts plus importantes. Votre application doit être tolérante aux pénalités de latence occasionnelles liées au démarrage à froid qui se produisent lors de l'appel de modèles peu utilisés.

Les terminaux multimodèles prennent en charge l'hébergement à la fois des modèles CPU et des modèles GPU garantis. En utilisant des modèles GPU sauvegardés, vous pouvez réduire les coûts de déploiement de vos modèles grâce à une utilisation accrue du point de terminaison et de ses instances de calcul accéléré sous-jacentes.

Les points de terminaison multimodèles permettent également le partage du temps des ressources de mémoire sur l'ensemble de vos modèles. Cela fonctionne mieux lorsque les modèles sont assez similaires en taille et en latence d'invocation. Dans ce cas, les points de terminaison multimodèles peuvent utiliser efficacement des instances sur tous les modèles. Si vos modèles ont des exigences de transactions par seconde (TPS) ou de latence nettement plus élevées, nous vous recommandons de les héberger sur des points de terminaison dédiés.

Vous pouvez utiliser des points de terminaison multi-modèles dotés des fonctions suivantes :

Vous ne pouvez pas utiliser de multi-model-enabled conteneurs avec Amazon Elastic Inference.

Vous pouvez utiliser la console AWS SDK for Python (Boto) ou la SageMaker console pour créer un point de terminaison multimodèle. Pour les points de terminaison multimodèles CPU sauvegardés, vous pouvez créer votre point de terminaison avec des conteneurs personnalisés en intégrant la bibliothèque de serveurs multimodèles.

Algorithmes, cadres et instances pris en charge

Pour plus d'informations sur les algorithmes, les cadres et les types d'instances que vous pouvez utiliser avec des points de terminaison multi-modèles, consultez les sections suivantes.

Algorithmes, frameworks et instances pris en charge pour les points de terminaison multimodèles utilisant CPU des instances sauvegardées

Les conteneurs d'inférence pour les algorithmes et cadres suivants prennent en charge les points de terminaison multimodèles :

Pour utiliser un autre framework ou algorithme, utilisez la boîte à outils d' SageMaker inférence pour créer un conteneur prenant en charge les points de terminaison multimodèles. Pour plus d’informations, veuillez consulter Créez votre propre conteneur pour les points de SageMaker terminaison multimodèles.

Les points de terminaison multimodèles prennent en charge tous les types d'CPUinstances.

Algorithmes, frameworks et instances pris en charge pour les points de terminaison multimodèles utilisant GPU des instances sauvegardées

L'hébergement de plusieurs modèles GPU sauvegardés sur des terminaux multimodèles est pris en charge via le serveur SageMaker Triton Inference. Cela prend en charge tous les principaux frameworks d'inférence tels que NVIDIA® TensorRT™, Python PyTorch MXNetONNX,,, scikit-learnXGBoost, Open, le C++ personnalisé RandomForest, etc. VINO

Pour utiliser un autre cadre ou algorithme, vous pouvez utiliser le backend Triton pour Python ou C++ pour écrire la logique de votre modèle et utiliser n'importe quel modèle personnalisé. Une fois le serveur prêt, vous pouvez commencer à déployer des centaines de modèles de deep learning sur un seul point de terminaison.

Les points de terminaison multimodèles prennent en charge les types d'GPUinstances suivants :

Exemples de blocs-notes pour les points de terminaison multi-modèles

Pour en savoir plus sur l'utilisation des points de terminaison multi-modèles, vous pouvez essayer les exemples de bloc-notes suivants :

Pour savoir comment créer et accéder à des instances de bloc-notes Jupyter que vous pouvez utiliser pour exécuter les exemples précédents SageMaker, consultez. Instances Amazon SageMaker Notebook Après avoir créé une instance de bloc-notes et l'avoir ouverte, cliquez sur l'onglet SageMaker Exemples pour afficher la liste de tous les SageMaker exemples. Les blocs-notes multimodèles pour terminaux se trouvent dans la ADVANCEDFUNCTIONALITYsection. Pour ouvrir un bloc-notes, choisissez son onglet Use (Utiliser), puis Create copy (Créer une copie).

Pour plus d'informations sur des cas d'utilisation des points de terminaison multi-modèles, consultez les blogs et ressources suivants :

Fonctionnement des points de terminaison multimodèles

SageMaker gère le cycle de vie des modèles hébergés sur des points de terminaison multimodèles dans la mémoire du conteneur. Au lieu de télécharger tous les modèles d'un compartiment Amazon S3 vers le conteneur lorsque vous créez le point de terminaison, chargez-les SageMaker dynamiquement et mettez-les en cache lorsque vous les invoquez. Lorsqu'il SageMaker reçoit une demande d'invocation pour un modèle particulier, il effectue les opérations suivantes :

SageMaker continue à acheminer les demandes pour un modèle vers l'instance où le modèle est déjà chargé. Toutefois, si le modèle reçoit de nombreuses demandes d'invocation et qu'il existe des instances supplémentaires pour le point de terminaison multimodèle, SageMaker achemine certaines demandes vers une autre instance pour prendre en charge le trafic. Si le modèle n'est pas déjà chargé sur la deuxième instance, il est téléchargé sur le volume de stockage de cette instance et chargé dans la mémoire du conteneur.

Lorsque l'utilisation de la mémoire d'une instance est élevée et SageMaker doit charger un autre modèle en mémoire, elle décharge les modèles inutilisés du conteneur de cette instance afin de s'assurer qu'il y a suffisamment de mémoire pour charger le modèle. Les modèles qui sont déchargés restent sur le volume de stockage de l'instance et peuvent être chargés dans la mémoire du conteneur ultérieurement sans être téléchargés à nouveau depuis le compartiment S3. Si le volume de stockage de l'instance atteint sa capacité maximale, SageMaker supprime tous les modèles inutilisés du volume de stockage.

Pour supprimer un modèle, arrêtez d'envoyer des demandes et supprimez-le du compartiment S3. SageMaker fournit une fonctionnalité de point de terminaison multimodèle dans un conteneur de service. L'ajout de modèles à un point de terminaison multimodèle et leur suppression ne nécessitent pas la mise à jour du point de terminaison lui-même. Pour ajouter un modèle, vous le chargez dans le compartiment S3 et vous l'appelez. Vous n'avez pas besoin de modifier le code pour l'utiliser.

Définition du comportement de mise en cache d' SageMaker un modèle de point de terminaison multimodèle

Par défaut, les terminaux multimodèles mettent en cache les modèles fréquemment utilisés en mémoire (CPUouGPU, selon que vous possédez CPU ou GPU sauvegardez des instances) et sur le disque afin de fournir une inférence à faible latence. Les modèles mis en cache sont déchargés et/ou supprimés du disque uniquement lorsqu'un conteneur manque de mémoire ou d'espace disque pour s'adapter à un modèle nouvellement ciblé.

Vous pouvez modifier le comportement de mise en cache d'un point de terminaison multimodèles et activer ou désactiver explicitement la mise en cache de modèle en définissant le paramètre ModelCacheSetting lorsque vous appelez create_model.

Nous vous recommandons de définir la valeur du paramètre ModelCacheSetting sur Disabled pour les cas d'utilisation qui ne bénéficient pas de la mise en cache des modèles. Par exemple, lorsqu'un grand nombre de modèles doivent être servis à partir du point de terminaison, mais que chaque modèle n'est appelé qu'une seule fois (ou très rarement). Dans de tels cas d'utilisation, définissez la valeur du ModelCacheSetting paramètre pour Disabled autoriser des transactions par seconde (TPS) plus élevées pour les invoke_endpoint demandes par rapport au mode de mise en cache par défaut. TPSDans ces cas d'utilisation, c'est parce que SageMaker ce qui suit est effectué après la invoke_endpoint demande :

Pour obtenir des instructions sur le choix d'un type d'instance SageMaker ML pour un point de terminaison multimodèle, consultezRecommandations d'instance pour les déploiements de points de terminaison multi-modèles.

Recommandations d'instance pour les déploiements de points de terminaison multi-modèles

Plusieurs éléments doivent être pris en compte lors de la sélection d'un type d'instance SageMaker ML pour un point de terminaison multimodèle :

Lorsque vous choisissez un type d'instance SageMaker ML, tenez compte des points suivants :

Vous pouvez également utiliser les conseils suivants pour optimiser le chargement des modèles sur vos points de terminaison multi-modèles :

Choisir un type d'instance qui ne peut pas contenir tous les modèles ciblés en mémoire

Dans certains cas, vous pouvez choisir de réduire les coûts en choisissant un type d'instance qui ne peut pas conserver tous les modèles ciblés en mémoire en même temps. SageMaker décharge dynamiquement les modèles lorsqu'il n'y a plus de mémoire disponible pour faire de la place à un nouveau modèle ciblé. Pour les modèles rarement demandés, vous sacrifiez la latence de charge dynamique. Dans les cas où les besoins de latence sont plus stricts, vous pouvez opter pour des types d'instance plus importants ou pour plus d'instances. Investir du temps à l'avance dans les tests et les analyses des performances vous aide à réussir vos déploiements de production.

Évaluation des accès au cache de votre modèle

CloudWatch Les statistiques Amazon peuvent vous aider à évaluer vos modèles. Pour plus d'informations sur les métriques que vous pouvez utilisez avec des points de terminaison multi-modèles, consultez CloudWatch Métriques pour les déploiements de terminaux multimodèles .

Vous pouvez utiliser la statistique Average de la métrique ModelCacheHit pour contrôler le ratio des demandes où le modèle est déjà chargé. Vous pouvez utiliser la statistique SampleCount de la métrique ModelUnloadingTime pour contrôler le nombre de demandes de déchargement envoyées au conteneur pendant une période donnée. Si les modèles sont déchargés trop fréquemment (indicateur de l'écrasement, où les modèles sont déchargés et chargés à nouveau parce qu'il n'y a pas suffisamment d'espace cache pour le jeu de modèles de travail), envisagez d'utiliser un type d'instance plus grand avec plus de mémoire ou d'augmenter le nombre d'instances derrière le point de terminaison multi-modèle. Pour les points de terminaison multi-modèles avec plusieurs instances, sachez qu'un modèle peut être chargé sur plus d'une instance.