Supervisa una prueba oculta - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervisa una prueba oculta

Puede ver los detalles de una prueba de sombras y supervisarla mientras está en curso o una vez finalizada. SageMaker presenta un panel en vivo en el que se comparan las métricas operativas, como la latencia del modelo y la tasa de error agregada, de las variantes de producción y oculta.

Para ver los detalles de una prueba individual en la consola, haga lo siguiente:

  1. Seleccione la prueba que desee supervisar en la sección de pruebas de sombra de la página de pruebas de sombra.

  2. En la lista desplegable Acciones, seleccione Ver. Aparece una página de información general con los detalles de la prueba y un panel de métricas.

La página de información general incluye las tres secciones siguientes.

Resumen

En esta sección se resume el progreso y el estado de la prueba. También muestra las estadísticas resumidas de la métrica elegida en la lista desplegable Seleccionar métrica de la subsección Métricas. En la siguiente captura de pantalla se muestra esta sección.

Sección de resumen de la página de información general.

En la captura de pantalla anterior, las pestañas Configuración y Detalles muestran los ajustes que ha seleccionado y los detalles que ha introducido al crear la prueba.

Análisis

En esta sección se muestra un panel de métricas con gráficos independientes para las siguientes métricas:

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

Las tres últimas métricas supervisan el uso de los recursos en tiempo de ejecución del contenedor del modelo. El resto son CloudWatch métricas que puedes usar para analizar el rendimiento de tu variante. En general, un menor número de errores indica un modelo más estable. Una latencia más baja indica un modelo más rápido o una infraestructura más rápida. Para obtener más información sobre CloudWatch las métricas, consulteSageMaker métricas de invocación de puntos finales. En la siguiente captura de pantalla se muestra el panel de métricas.

Panel de análisis de métricas.
Entorno

En esta sección se muestran las variantes que comparaste en la prueba. Si te satisface el rendimiento de la variante oculta, en función de las métricas antes mencionadas, puedes pasarla a producción si eliges la variante oculta Desplegar la variante oculta. Para obtener más información sobre cómo implementar una variante oculta, consultePromover una variante de sombra. También puede cambiar el porcentaje de muestreo de tráfico y continuar con las pruebas seleccionando Editar tráfico. Para obtener más información sobre la edición de una variante oculta, consulteEditar una prueba de sombras. En la siguiente captura de pantalla se muestra esta sección.

Sección de medio ambiente de la página de información general.