Canalizaciones de inferencia en Amazon SageMaker

Una canalización de inferencias es un SageMaker modelo de Amazon que se compone de una secuencia lineal de dos a quince contenedores que procesan las solicitudes de inferencias sobre los datos. Utiliza una canalización de inferencia para definir e implementar cualquier combinación de algoritmos SageMaker integrados previamente entrenados y sus propios algoritmos personalizados empaquetados en contenedores de Docker. Puede utilizar una canalización de inferencia para combinar tareas de ciencia de datos de preprocesamiento, predicciones y posprocesamiento. Las canalizaciones de inferencia se administran completamente.

Puedes añadir contenedores SageMaker Spark ML Serving y scikit-learn que reutilizan los transformadores de datos desarrollados para entrenar modelos. Todo el proceso de inferencia ensamblado se puede considerar como un SageMaker modelo que se puede usar para hacer predicciones en tiempo real o para procesar transformaciones por lotes directamente sin ningún preprocesamiento externo.

Dentro de un modelo de canalización de inferencias, SageMaker gestiona las invocaciones como una secuencia de solicitudes. HTTP El primer contenedor de la canalización gestiona la solicitud inicial, luego la respuesta intermedia se envía como una solicitud al segundo contenedor y así sucesivamente, para cada contenedor de la canalización. SageMaker devuelve la respuesta final al cliente.

Al implementar el modelo de canalización, SageMaker instala y ejecuta todos los contenedores en cada instancia de Amazon Elastic Compute Cloud (AmazonEC2) del punto final o del trabajo de transformación. El procesamiento de características y las inferencias se ejecutan con una latencia baja porque los contenedores están ubicados en las mismas instancias. EC2 Puede definir los contenedores para un modelo de canalización mediante la operación CreateModel o desde la consola. En lugar de configurar unoPrimaryContainer, se utiliza el Containers parámetro para configurar los contenedores que forman la canalización. También se especifica el orden en el que se ejecutan los contenedores.

Un modelo de canalización es inmutable, pero puede actualizar una canalización de inferencia implementando una nueva con la operación UpdateEndpoint. Esta modularidad admite una mayor flexibilidad durante la experimentación.

Para obtener información sobre cómo crear una canalización de inferencia con el registro del SageMaker modelo, consulteImplementación del registro de modelos con Model Registry.

El uso de esta característica no tiene costos adicionales. Solo tiene que pagar por las instancias que se ejecutan en un punto de conexión.

Cuadernos de ejemplo para canalizaciones de inferencia

Para ver un ejemplo que muestra cómo crear e implementar canalizaciones de inferencia, consulte el cuaderno de muestra Inference Pipeline with Scikit-learn and Linear Learner. Para obtener instrucciones sobre cómo crear instancias de Jupyter Notebook y acceder a ellas, que puede utilizar para ejecutar el ejemplo, consulte. SageMaker Instancias de Amazon SageMaker Notebook

Para ver una lista de todos los SageMaker ejemplos, después de crear y abrir una instancia de bloc de notas, selecciona la pestaña SageMaker Ejemplos. Existen tres blocs de notas de canalización de inferencias. Los dos primeros blocs de notas de canalización de inferencias que acabamos de describir se encuentran en la carpeta advanced_functionality y el tercer bloc de notas está en la carpeta sagemaker-python-sdk. Para abrir un bloc de notas, elija su pestaña Usar y, a continuación, elija Crear copia.