View a markdown version of this page

Implantar um modelo - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar um modelo

Para implantar um SageMaker Neo-compiled modelo da Amazon em um endpoint HTTPS, você deve configurar e criar o endpoint para o modelo usando os serviços de hospedagem Amazon SageMaker AI. Atualmente, os desenvolvedores podem usar as SageMaker APIs da Amazon para implantar módulos nas instâncias ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 e ml.inf1.

Para instâncias Inferentia e Trainium, os modelos precisam ser compilados especificamente para aquelas instâncias. Não há garantias de que os modelos compilados para outros tipos de instância funcionem com instâncias Inferentia ou Trainium.

Quando você implanta um modelo compilado, é necessário usar a mesma instância para o destino usado para compilação. Isso cria um endpoint de SageMaker IA que você pode usar para realizar inferências. Você pode implantar um Neo-compiled modelo usando qualquer um dos seguintes: Amazon SageMaker AI SDK para Python, SDK para Python (Boto3) e o console de IA. AWS Command Line Interface SageMaker

nota

Para implantar um modelo usando AWS CLI o console ou o Boto3, consulte Neo Inference Container Images para selecionar o URI da imagem de inferência para seu contêiner primário.