Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon SageMaker Model Monitor supervisa la calidad de los modelos de aprendizaje automático de Amazon SageMaker AI en producción. Con el Monitor de modelos, puede configurar lo siguiente:
-
Supervisión continua con un punto de conexión en tiempo real.
-
Supervisión continua con un trabajo de transformación por lotes que se ejecuta con regularidad.
-
Supervisión programada para trabajos de transformación por lotes asíncronos.
Con el monitor de modelos, puede configurar alertas que le notifiquen cuando haya desviaciones en la calidad del modelo. La detección temprana y proactiva de estas desviaciones le permite tomar medidas correctivas. Puede tomar medidas como volver a entrenar los modelos, auditar los sistemas ascendentes o solucionar problemas de calidad sin tener que supervisar los modelos manualmente ni crear herramientas adicionales. Puede utilizar las capacidades de supervisión prediseñadas del monitor de modelos que no requieran codificación. También tiene la flexibilidad de monitorizar modelos mediante la codificación para proporcionar análisis personalizados.
El monitor de modelos proporciona los siguientes tipos de supervisión:
-
Calidad de datos: supervise la desviación en la calidad de los datos.
-
Calidad de modelo: supervise la desviación de las métricas de calidad del modelo, como la precisión.
-
Desviación de sesgo de modelos en producción: supervise el sesgo en las predicciones de su modelo.
-
Desviación en la atribución de características de los modelos en producción: supervise la desviación en la atribución de características.
Temas
Cómo funciona Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor supervisa automáticamente los modelos de aprendizaje automático (ML) en producción y le notifica cuando se producen problemas de calidad. El monitor de modelos utiliza reglas para detectar desviaciones en sus modelos y le avisa cuando se producen. La siguiente figura muestra cómo funciona este proceso en el caso de que el modelo se implemente en un punto de conexión en tiempo real.
También puede usar el monitor de modelos para supervisar un trabajo de transformación por lotes en lugar de un punto de conexión en tiempo real. En este caso, en lugar de recibir solicitudes a un punto de conexión y realizar un seguimiento de las predicciones, el Monitor de modelos supervisará las entradas y salidas de las inferencias. En la siguiente figura se muestra un diagrama del proceso de supervisión de un trabajo de transformación por lotes.
Para habilitar la supervisión de los modelos, siga estos pasos. Estos pasos siguen la ruta de los datos a través de los distintos procesos de recopilación, supervisión y análisis de datos.
-
Para un punto de conexión en tiempo real, habilite el punto de conexión para capturar datos de las solicitudes entrantes a un modelo ML entrenado y las predicciones de modelo resultantes.
-
Para un trabajo de transformación por lotes, habilite la captura de datos de las entradas y salidas de la transformación por lotes.
-
Cree una referencia a partir del conjunto de datos que se utilizó para entrenar el modelo. La referencia calcula las métricas y sugiere las limitaciones de las métricas. Las predicciones en tiempo real o por lotes del modelo se comparan con las restricciones. Se consideran infracciones si están fuera de los valores restringidos.
-
Cree una programación de supervisión que especifique qué datos se recopilarán, con qué frecuencia se recopilarán, cómo analizarlos y qué informes se producirán.
-
Inspeccione los informes, que comparan los datos más recientes con la referencia. Esté atento a las infracciones denunciadas, las estadísticas y las notificaciones de Amazon CloudWatch.
Notas
-
El monitor de modelos calcula las métricas y estadísticas del modelo únicamente a partir de datos tabulares. Por ejemplo, aún se puede supervisar un modelo de clasificación de imágenes que toma imágenes como entrada y genera una etiqueta basada en esa imagen. El monitor de modelos podría calcular métricas y estadísticas para la salida, no para la entrada.
-
Actualmente, el monitor de modelos admite solo puntos de conexión que alojan un solo modelo y no admite la supervisión de puntos de conexión multimodelo. Para obtener información sobre el uso de puntos de enlace de varios modelos, consulte Puntos de conexión multimodelo.
-
El Monitor de modelos admite la supervisión de los canales de inferencia. Sin embargo, la captura y el análisis de datos se realiza para toda la canalización, no para contenedores individuales en la canalización.
-
Para evitar que las solicitudes de inferencia se vean afectadas, la captura de datos deja de capturar solicitudes con niveles altos de uso de disco. Se recomienda mantener la utilización del disco por debajo del 75 % para garantizar que la captura de datos siga capturando las solicitudes.
-
Si lanza SageMaker Studio en una Amazon VPC personalizada, debe crear puntos de enlace de VPC para permitir que Model Monitor se comunique con Amazon S3 y. CloudWatch Para obtener información sobre los puntos de conexión de VPC, consulte Puntos de conexión de VPC en la Guía del usuario de Amazon Virtual Private Cloud. Para obtener información sobre cómo lanzar SageMaker Studio en una VPC personalizada, consulte. Conexión de cuadernos de Studio en una VPC a recursos externos
Cuadernos de ejemplo del Monitor de modelos
Para ver un ejemplo de bloc de notas que explica el end-to-end flujo de trabajo con Model Monitor con su punto de conexión en tiempo real, consulte Introducción a Amazon SageMaker Model Monitor
Para ver un bloc de notas de ejemplo que visualiza el archivo statistics.json para una ejecución seleccionada en una programación de monitorización, consulte Visualización del monitor de modelos
Para obtener instrucciones sobre cómo crear instancias de Jupyter Notebook y acceder a ellas, que puede utilizar para ejecutar el ejemplo en SageMaker IA, consulte. Instancias de Amazon SageMaker Notebook Tras crear una instancia de bloc de notas y abrirla, selecciona la pestaña Ejemplos de SageMaker IA para ver una lista de todos los ejemplos de SageMaker IA. Para abrir un cuaderno, elija la pestaña Usar del cuaderno y elija Crear copia.
