Multi-Model Orquestación del flujo de trabajo de inferencia

Amazon API Gateway proporciona una interfaz RESTful para usuarios y administradores. Los grupos de usuarios de Amazon Cognito proporcionan autenticación.

Una nueva tarea se crea mediante una POST solicitud dirigida a la API, con los datos /create-job sobre los que se puede obtener información. Esto invoca la AWS Lambda función de creación de trabajo.

La función carga los datos en un bucket de Amazon Simple Storage Service y añade la información del trabajo a una tabla de Amazon DynamoDB para su seguimiento.

Las funciones de Lambda proporcionan lógica para los métodos de API expuestos a través de API Gateway. Permiten crear trabajos, supervisarlos y facilitar la recuperación de los resultados.

El nuevo elemento de la tabla activa una transmisión de DynamoDB que, a su vez, activa el flujo de trabajo de Step Functions para la inferencia.

El flujo de trabajo de Step Functions organiza todos los pasos necesarios para ejecutar varios trabajos de inferencia de aprendizaje automático en el objeto de datos proporcionado.

La información de metadatos sobre los puntos finales del aprendizaje automático se almacena en una tabla de DynamoDB para utilizarla en el flujo de trabajo.

El estado del mapa de la función de pasos llama a cada punto final de ML y almacena los resultados en paralelo. Esto permite que el flujo de trabajo se adapte a cualquier número de invocaciones de puntos finales de ML.

SageMaker Los puntos finales del modelo de IA alojan los modelos de aprendizaje automático. El flujo de trabajo invoca estos puntos finales por categoría.

Los resultados finales de toda la información de aprendizaje automático recopilada para los datos se almacenan en Amazon S3.

Una vez finalizado el flujo de trabajo, puede recuperar los resultados finales mediante una GET solicitud dirigida a/get-job-results. Esto invoca la función Lambda get job results, que lee el bucket de Amazon S3.

Multi-model los puntos de enlace pueden ampliar cada tipo de modelo con optimizaciones adicionales, como la inferencia específica del idioma por categoría.