Recomendaciones recopiladas con Neo - Amazon SageMaker
Introducción

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Recomendaciones recopiladas con Neo

En el Recomendador de inferencias, puede compilar su modelo con Neo y obtener recomendaciones de puntos de conexión para su modelo compilado. SageMaker Neo es un servicio que puede optimizar su modelo para una plataforma de hardware de destino (es decir, un tipo de instancia o un entorno específicos). La optimización de un modelo con Neo podría mejorar el rendimiento del modelo alojado.

En el caso de los marcos y contenedores compatibles con Neo, el Recomendador de inferencias sugiere automáticamente recomendaciones optimizadas para Neo. Para poder participar en la compilación de Neo, su entrada debe cumplir los siguientes requisitos previos:

  • Está utilizando una SageMaker propiedad DLCo un XGBoost contenedor.

  • Está utilizando una versión de marco compatible con Neo. Para ver las versiones de framework compatibles con Neo, consulte Instancias en la nube la documentación de SageMaker Neo.

  • Neo requiere que proporcione una forma de datos de entrada correcta para su modelo. Puede especificar esta forma de datos como DataInputConfig en InferenceSpecification al crear un paquete de modelos. Para obtener información sobre las formas de datos correctas para cada marco, consulte Preparar el modelo para su compilación en la documentación de SageMaker Neo.

    En el siguiente ejemplo se muestra cómo especificar el campo DataInputConfig en InferenceSpecification, donde data_input_configuration es una variable que contiene la forma de datos en formato de diccionario (por ejemplo,{'input':[1,1024,1024,3]}).

    "InferenceSpecification": {
        "Containers": [
            {
                "Image": dlc_uri,
                "Framework": framework.upper(),
                "FrameworkVersion": framework_version,
                "NearestModelName": model_name,
                "ModelInput": {"DataInputConfig": data_input_configuration},
            }
        ],
        "SupportedContentTypes": input_mime_types,  # required, must be non-null
        "SupportedResponseMIMETypes": [],
        "SupportedRealtimeInferenceInstanceTypes": supported_realtime_inference_types,  # optional
    }

Si se cumplen estas condiciones en su solicitud, el Recomendador de inferencias ejecutará escenarios para las versiones compiladas y no compiladas del modelo, lo que le proporcionará varias combinaciones de recomendaciones entre las que elegir. Puede comparar las configuraciones de las versiones compiladas y no compiladas de la misma recomendación de inferencia y determinar cuál se adapta mejor a su caso de uso. Las recomendaciones se clasifican según el coste por inferencia.

Para obtener las recomendaciones de compilación de Neo, no tiene que realizar ninguna configuración adicional además de asegurarse de que la entrada cumpla con los requisitos anteriores. Inference Recommender ejecuta automáticamente la compilación de Neo en tu modelo si la entrada cumple los requisitos, y recibes una respuesta que incluye las recomendaciones de Neo.

Si se producen errores durante la compilación de Neo, consulte Solución de errores de compilación de Neo.

La siguiente tabla es un ejemplo de una respuesta que puede obtener de un trabajo de recomendación de inferencias que incluya recomendaciones para modelos compilados. Si el campo InferenceSpecificationName es None, la recomendación es un modelo sin compilar. La última fila, en la que se encuentra el valor del InferenceSpecificationNamecamponeo-00011122-2333-4445-5566-677788899900, corresponde a un modelo compilado con Neo. El valor del campo es el nombre del trabajo de Neo utilizado para compilar y optimizar el modelo.

EndpointName InstanceType InitialInstanceCount EnvironmentParameters CostPerHour CostPerInference MaxInvocations ModelLatency InferenceSpecificationName

sm-epc-example-000111222

ml.c5.9xlarge

1

[]

1,836

9,15E-07

33456

7

Ninguna

sm-epc-example-111222333

ml.c5.2xlarge

1

[]

0,408

2,11E-07

32211

21

Ninguna

sm-epc-example-222333444

ml.c5.xlarge

1

[]

0,204

1,86E-07

18276

92

Ninguna

sm-epc-example-333444555

ml.c5.xlarge

1

[]

0,204

1,60E-07

21286

42

neo-00011122-2333-4445-5566-677788899900

Introducción

Los pasos generales para crear un trabajo de recomendación de inferencias que incluya recomendaciones optimizadas para NEO son los siguientes:

  • Prepare su modelo de ML para la compilación. Para obtener más información, consulte Preparar modelo para la compilación en la documentación de Neo.

  • Empaquete su modelo en un archivo de modelos (archivo .tar.gz).

  • Cree un archivo de carga útil de ejemplo.

  • Registre su modelo en el Registro de SageMaker Modelos.

  • Cree un trabajo de recomendación de inferencias.

  • Vea los resultados del trabajo de recomendación de inferencias y elija una configuración.

  • Depure los errores de compilación, si los hubiera. Para obtener más información, consulte Solución de errores de compilación de Neo.

Para ver un ejemplo que muestre el flujo de trabajo anterior y cómo obtener recomendaciones optimizadas para NeoXGBoost, consulte el siguiente cuaderno de ejemplo. Para ver un ejemplo que muestra cómo utilizar recomendaciones optimizadas para Neo TensorFlow, consulta el siguiente cuaderno de ejemplo.