Implantar um modelo - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar um modelo

Para implantar um modelo SageMaker compilado pelo Amazon Neo em um endpoint HTTPS, você deve configurar e criar o endpoint para o modelo usando os serviços de hospedagem Amazon SageMaker AI. Atualmente, os desenvolvedores podem usar SageMaker APIs a Amazon para implantar módulos em instâncias ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 e ml.inf1.

Para instâncias Inferentia e Trainium, os modelos precisam ser compilados especificamente para aquelas instâncias. Não há garantias de que os modelos compilados para outros tipos de instância funcionem com instâncias Inferentia ou Trainium.

Quando você implanta um modelo compilado, é necessário usar a mesma instância para o destino usado para compilação. Isso cria um endpoint de SageMaker IA que você pode usar para realizar inferências. Você pode implantar um modelo compilado pelo NEO usando qualquer um dos seguintes: Amazon SageMaker AI SDK para Python, SDK for Python(Boto3) e o console AI. AWS Command Line InterfaceSageMaker

nota

Para implantar um modelo usando AWS CLI o console ou o Boto3, consulte Neo Inference Container Images para selecionar o URI da imagem de inferência para seu contêiner primário.