Supervisión de una prueba de sombra
Puede ver los detalles de una prueba de sombra y supervisarla mientras está en curso o una vez completada. SageMaker presenta un panel en directo que compara las métricas operativas, como, por ejemplo, la latencia del modelo y la tasa de error agregada, de las variantes de producción y de sombra.
Para ver los detalles de una prueba individual en la consola, haga lo siguiente:
-
Seleccione la prueba que desee supervisar en la sección Prueba de sombra de la página Pruebas de sombra.
-
En la lista desplegable Acciones, seleccione Ver. Aparecerá una página de información general con los detalles de la prueba y un panel de métricas.
En la página de información general se incluyen las siguientes tres secciones.
- Resumen
-
En esta sección se resumen el progreso y el estado de la prueba. También se muestran las estadísticas de resumen de la métrica elegida en la lista desplegable Seleccionar métrica de la subsección Métricas. En la siguiente captura de pantalla se muestra esta sección.
En la captura de pantalla anterior, las pestañas Configuración y Detalles muestran la configuración que ha seleccionado y los detalles que ha introducido al crear la prueba.
- Análisis
-
En esta sección se muestra un panel de métricas con gráficos independientes para las siguientes métricas:
InvocationsInvocationsPerInstanceModelLatencyInvocation4XXErrorsInvocation5XXErrorsInvocationModelErrorsCPUUtilizationMemoryUtilizationDiskUtilization
Las tres últimas métricas supervisan el uso de los recursos en tiempo de ejecución del contenedor del modelo. El resto son métricas de CloudWatch que puede utilizar para analizar el rendimiento de la variante. Por lo general, un menor número de errores indica un modelo más estable. Una latencia menor indica un modelo o una infraestructura más rápidos. Para obtener más información acerca de las métricas de CloudWatch, consulte Métricas de invocación de punto de conexión de SageMaker. En la siguiente captura de pantalla se muestra el panel de métricas.
- Entorno
-
En esta sección se muestran las variantes que ha comparado en la prueba. Si le satisface el rendimiento de la variante de sombra, en función de las métricas anteriores, puede promocionar la variante de sombra a producción. Para ello, seleccione Desplegar variante de sombra. Para obtener más información sobre cómo implementar una variante de sombra, consulte Promover una variante de sombra. También puede cambiar el porcentaje de muestreo de tráfico y continuar con las pruebas. Para ello, seleccione Editar tráfico. Para obtener más información sobre la edición de una variante de sombra, consulte Edición de una prueba de sombra. En la siguiente captura de pantalla se muestra esta sección.
