Appel d'un point de terminaison multi-conteneurs avec appel direct - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Appel d'un point de terminaison multi-conteneurs avec appel direct

SageMaker les points de terminaison à conteneurs multiples permettent aux clients de déployer plusieurs conteneurs pour déployer différents modèles sur un SageMaker point de terminaison. Vous pouvez héberger 15 conteneurs d'inférence différents au maximum sur un seul point de terminaison. L'appel direct vous permet d'envoyer une demande à un conteneur d'inférence spécifique hébergé sur un point de terminaison multi-conteneurs.

Pour appeler un point de terminaison multi-conteneurs avec appel direct, appelez invoke_endpoint comme vous le feriez pour un autre point de terminaison, et spécifiez le conteneur que vous voulez appeler à l'aide du paramètre TargetContainerHostname.

L'exemple suivant appelle directement le secondContainer d'un point de terminaison multi-conteneurs afin d'obtenir une prédiction.

import boto3
runtime_sm_client = boto3.Session().client('sagemaker-runtime')

response = runtime_sm_client.invoke_endpoint(
   EndpointName ='my-endpoint',
   ContentType = 'text/csv',
   TargetContainerHostname='secondContainer', 
   Body = body)

Pour chaque demande avec appel direct envoyée à un point de terminaison multi-conteneurs, seul le conteneur portant le TargetContainerHostname traite la demande d'appel. Des erreurs de validation se produiront si vous effectuez l'une des opérations suivantes :

  • Vous spécifiez un TargetContainerHostname qui n'existe pas dans le point de terminaison

  • Vous ne spécifiez pas de valeur pour TargetContainerHostname dans une demande envoyée à un point de terminaison configuré pour l'appel direct

  • Vous spécifiez une valeur pour TargetContainerHostname dans une demande envoyée à un point de terminaison qui n'est pas configuré pour l'appel direct.