Implementación de un modelo

Para implementar un modelo SageMaker compilado por Amazon NEO en un punto final HTTPS, debe configurar y crear el punto final para el modelo mediante los servicios de alojamiento de Amazon SageMaker AI. Actualmente, los desarrolladores pueden usar Amazon SageMaker APIs para implementar módulos en instancias ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 y ml.inf1.

Para las instancias Inferentia y Trainium, los modelos deben compilarse específicamente para dichas instancias. No se garantiza que los modelos compilados para otros tipos de instancia funcionen con instancias Inferentia o Trainium.

Cuando se implementa un modelo compilado, es preciso usar la misma instancia para el destino que utilizó para la compilación. Esto crea un punto final de IA que SageMaker puede usar para realizar inferencias. Puede implementar un modelo compilado en NEO mediante cualquiera de las siguientes opciones: Amazon SageMaker AI SDK for Python, SDK for Python (Boto3) y AWS Command Line Interfacela consola AI. SageMaker