Richiamare un endpoint multi-container con invocazione diretta - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Richiamare un endpoint multi-container con invocazione diretta

SageMaker Gli endpoint multi-container consentono ai clienti di distribuire più container per distribuire modelli diversi su un endpoint. SageMaker È possibile ospitare fino a 15 container di inferenza diversi su un singolo endpoint. Utilizzando l'invocazione diretta, è possibile inviare una richiesta a un container di inferenza specifico ospitato su un endpoint multi-container.

Per richiamare un endpoint multi-container con chiamata diretta, chiama invoke_endpoint come richiameresti qualsiasi altro endpoint e specifica quale container desideri richiamare utilizzando il parametro TargetContainerHostname.

L'esempio seguente richiama direttamente secondContainer di un endpoint multi-container per ottenere una previsione.

import boto3
runtime_sm_client = boto3.Session().client('sagemaker-runtime')

response = runtime_sm_client.invoke_endpoint(
   EndpointName ='my-endpoint',
   ContentType = 'text/csv',
   TargetContainerHostname='secondContainer', 
   Body = body)

Per ogni richiesta di chiamata diretta a un endpoint multi-container, solo il container con TargetContainerHostname elabora la richiesta di chiamata. Se esegui una qualsiasi delle seguenti operazioni, otterrai degli errori di convalida:

  • Specificare un TargetContainerHostname che non esiste nell'endpoint

  • Non specificare un valore per TargetContainerHostname in una richiesta a un endpoint configurato per la chiamata diretta

  • Specificare un valore per TargetContainerHostname in una richiesta a un endpoint non configurato per la chiamata diretta.