Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Panel de control del modelo FAQ
Consulta los siguientes FAQ temas para obtener respuestas a las preguntas más frecuentes sobre Amazon SageMaker Model Dashboard.
Amazon SageMaker Model Dashboard es un repositorio centralizado de todos los modelos creados en tu cuenta. Por lo general, los modelos son el resultado de trabajos de SageMaker formación, pero también puede importar modelos entrenados en otros lugares y alojarlos en ellos SageMaker. El panel de control de modelos proporciona una interfaz única para que los administradores de TI, los administradores de riesgos relacionados con los modelos y los líderes empresariales realicen un seguimiento de todos los modelos implementados y agrega datos de varios AWS servicios para proporcionar indicadores sobre el rendimiento de sus modelos. Puede ver los detalles sobre los puntos de conexión del modelo, los trabajos de transformación por lotes y los trabajos de supervisión para obtener información adicional sobre el rendimiento del modelo. La pantalla visual del panel ayuda a identificar rápidamente qué modelos carecen de monitores o tienen monitores inactivos, de modo que puede garantizar que todos los modelos se comprueben periódicamente para detectar desviaciones de datos, desviaciones del modelo, desviaciones de sesgo y desviaciones de atribución de características. Por último, el fácil acceso del panel a los detalles del modelo le ayuda a profundizar para que pueda acceder a los registros, la información relacionada con la infraestructura y los recursos que le ayudarán a depurar los errores de supervisión.
Debe crear uno o más modelos SageMaker, ya sea con formación SageMaker o con formación externa. Si bien este no es un requisito previo obligatorio, obtendrá el máximo valor del panel si configura los trabajos de monitoreo de modelos a través de Amazon SageMaker Model Monitor para los modelos implementados en los puntos de conexión.
Los administradores de riesgos de los modelos, los profesionales del ML, los científicos de datos y los líderes empresariales pueden obtener una visión general completa de los modelos mediante el panel de modelos. El panel de control agrega y muestra datos de los servicios Amazon SageMaker Model Cards, Endpoints y Model Monitor para mostrar información valiosa, como los metadatos del modelo de la tarjeta de modelo y el registro del modelo, los puntos finales donde se implementan los modelos y la información obtenida de la supervisión de modelos.
Model Dashboard está disponible de fábrica en Amazon SageMaker y no requiere ninguna configuración previa. Sin embargo, si ha configurado trabajos de supervisión de modelos mediante SageMaker Model Monitor y Clarify, utilizará Amazon CloudWatch para configurar alertas que muestren una señal en el panel de control cuando el rendimiento del modelo se desvíe de un rango aceptable. Puede crear y agregar nuevas tarjetas de modelos al panel y ver todos los resultados de la supervisión asociados a los puntos de conexión. Actualmente, el panel de modelos no admite modelos entre cuentas.
Con Amazon SageMaker Model Monitor, puede seleccionar los datos que desea supervisar y analizar sin necesidad de escribir código. SageMaker Model Monitor le permite seleccionar datos, como el resultado de una predicción, de un menú de opciones y captura metadatos como la marca de tiempo, el nombre del modelo y el punto final para que pueda analizar las predicciones del modelo. Puede especificar la frecuencia de muestreo de la captura de datos como un porcentaje del tráfico total en el caso de predicciones en tiempo real de gran volumen. Estos datos se almacenan en su propio bucket de Amazon S3. También puede cifrar estos datos, configurar una seguridad detallada, definir políticas de retención de datos e implementar mecanismos de control de acceso para un acceso seguro.
SageMaker Model Monitor ofrece los siguientes tipos de modelos de monitores:
-
Calidad de los datos: supervise los cambios en la calidad de los datos.
-
Calidad del modelo: supervise los cambios en las métricas de calidad del modelo, como la precisión.
-
Desviación de sesgo de los modelos en producción: controle el sesgo en las predicciones de su modelo comparando la distribución de los datos de entrenamiento y en tiempo real.
-
Desviación de la atribución de características en modelos en producción: supervise la desviación en la atribución de características comparando las clasificaciones relativas de las características en los datos de entrenamiento y en tiempo real.
Actualmente, el monitor de modelos admite puntos de conexión que alojan un solo modelo para la inferencia en tiempo real y no admite la supervisión de puntos de conexión multimodelo.
Puede utilizar los siguientes recursos para empezar con la supervisión de modelos:
Para ver más ejemplos de monitoreo de modelos, consulte el GitHub repositorio amazon-sagemaker-examples
Amazon SageMaker Model Monitor supervisa automáticamente los modelos de aprendizaje automático en producción mediante reglas para detectar desviaciones en el modelo. El monitor de modelos le notifica cuando surgen problemas de calidad mediante alertas. Para obtener más información, consulte Cómo funciona Amazon SageMaker Model Monitor.
El monitor de modelos calcula las métricas y estadísticas del modelo únicamente a partir de datos tabulares. Para casos de uso distintos de los conjuntos de datos tabulares, como imágenes o texto, puede traer sus propios contenedores (BYOC) para monitorear sus datos y modelos. Por ejemplo, puede usarlo BYOC para monitorear un modelo de clasificación de imágenes que toma imágenes como entrada y genera una etiqueta. Para obtener más información sobre los contratos de contenedores, consulte Support para sus propios contenedores con Amazon SageMaker Model Monitor.
Puede encontrar BYOC ejemplos útiles en los siguientes enlaces:
Para obtener más información sobre cómo integrar Model Monitor y Pipelines, consulte Amazon Pipelines ahora se integra con SageMaker Model Monitor y SageMaker
Para ver un ejemplo, consulte el GitHub ejemplo de la integración de Pipelines con Model Monitor
Cuando está activada, la captura de datos se produce de forma asíncrona en los puntos finales. SageMaker Para evitar que las solicitudes de inferencia se vean afectadas, DataCapture deja de capturar solicitudes con niveles altos de uso de disco. Se recomienda mantener la utilización del disco por debajo del 75 % para garantizar que DataCapture siga capturando las solicitudes.
