Invoque um endpoint de vários contêineres com invocação direta - Amazon SageMaker

Invoque um endpoint de vários contêineres com invocação direta

Os endpoints de vários contêineres do SageMaker permitem que os clientes implantem vários contêineres para modelos diferentes, em um único endpoint do SageMaker. Você pode hospedar até 15 contêineres de inferência diferentes em um único endpoint. Quando usar a invocação direta, você pode enviar uma solicitação para um contêiner de inferência específico hospedado em um endpoint de vários contêineres.

Para invocar um endpoint de vários contêineres com invocação direta, chame invoke_endpoint como você invocaria qualquer outro endpoint e especifique qual contêiner você deseja invocar usando o parâmetro TargetContainerHostname.

O exemplo a seguir invoca diretamente o secondContainer de um endpoint de vários contêineres para obter uma predição.

import boto3
runtime_sm_client = boto3.Session().client('sagemaker-runtime')

response = runtime_sm_client.invoke_endpoint(
   EndpointName ='my-endpoint',
   ContentType = 'text/csv',
   TargetContainerHostname='secondContainer', 
   Body = body)

Para cada solicitação de invocação direta para um endpoint de vários contêineres, somente o contêiner com o TargetContainerHostname processa a solicitação de invocação. Você receberá erros de validação se fizer o seguinte:

  • Especifique um TargetContainerHostname que não exista no endpoint

  • Não especifique um valor para TargetContainerHostname em uma solicitação para um endpoint configurado para invocação direta

  • Especifique um valor para TargetContainerHostname em uma solicitação para um endpoint que não esteja configurado para invocação direta.