Crea una prueba de sombras - Amazon SageMaker
Requisitos previosIntroduzca los detalles de la prueba oculta Introduzca la configuración de la prueba de sombras

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crea una prueba de sombras

Puedes crear una prueba paralela para comparar el rendimiento de una variante oculta con el de una variante de producción. Puede ejecutar la prueba en un punto final existente que atienda solicitudes de inferencia o puede crear un nuevo punto final en el que ejecutar la prueba.

Para crear una prueba paralela, debe especificar lo siguiente:

  • Una variante de producción que recibe y responde al 100 por ciento de las solicitudes de inferencia entrantes.

  • Una variante oculta que recibe un porcentaje de las solicitudes entrantes, replicadas desde la variante de producción, pero que no devuelve ninguna respuesta.

Para cada variante, puedes utilizarla SageMaker para controlar el modelo, el tipo de instancia y el número de instancias. Puedes configurar el porcentaje de solicitudes entrantes, conocido como porcentaje de muestreo de tráfico, que deseas replicar en tu variante oculta. SageMaker gestiona la replicación de las solicitudes en tu variante oculta y puedes modificar el porcentaje de muestreo de tráfico cuando la prueba esté programada o en ejecución. Si lo desea, también puede activar la captura de datos para registrar las solicitudes y respuestas de sus variantes de producción y clandestinas.

nota

SageMaker admite un máximo de una variante de sombra por punto final. Para un punto final con una variante de sombra, puede haber un máximo de una variante de producción.

Puede programar la prueba para que comience en cualquier momento y continúe durante un tiempo específico. La duración predeterminada es de 7 días y la máxima de 30 días. Una vez finalizada la prueba, el punto final vuelve al estado en el que se encontraba antes de comenzar la prueba. Esto garantiza que no tenga que limpiar los recursos manualmente una vez finalizada la prueba.

Puede supervisar una prueba que se esté ejecutando a través de un panel de control de la SageMaker consola. El panel proporciona una comparación paralela de las métricas de invocación y las métricas de instancia entre las variantes de producción y sombra, junto con una vista tabular con las estadísticas de métricas relevantes. Este panel también está disponible para las pruebas completadas. Una vez que hayas revisado las métricas, puedes elegir entre promocionar la variante oculta para convertirla en la nueva variante de producción o conservar la variante de producción existente. Una vez que promocionas la variante oculta, esta responde a todas las solicitudes entrantes. Para obtener más información, consulte Promover una variante de sombra.

El siguiente procedimiento describe cómo crear una prueba oculta a través de la SageMaker consola. Existen variaciones en el flujo de trabajo en función de si desea utilizar un punto final existente o crear uno nuevo para la prueba paralela.

Requisitos previos

Antes de crear una prueba paralela con la SageMaker consola, debe tener un SageMaker modelo listo para su uso. Para obtener más información sobre cómo crear un SageMaker modelo, consulteImplemente modelos para inferencias en tiempo real.

Puede comenzar con las pruebas paralelas con un punto final existente con una variante de producción y una variante oculta, un punto final existente con solo una variante de producción o solo con los SageMaker modelos que desee comparar. Las pruebas ocultas permiten crear un punto final y añadir variantes antes de que comience la prueba.

nota

Determinadas características de los puntos finales pueden hacer que tu punto final sea incompatible con las pruebas ocultas. Si su dispositivo de punto final utiliza alguna de las siguientes funciones, no podrá utilizar pruebas paralelas en su dispositivo de punto final y, si solicita configurarlas, se producirán errores de validación.

  • Inferencia sin servidor

  • Inferencia asíncrona

  • Contenedores de Marketplace

  • Puntos de conexión con varios contenedores

  • Puntos de conexión multimodelo

  • Puntos de conexión que utilizan instancias Inf1 (basadas en inferencia)

Introduzca los detalles de la prueba oculta

Para empezar a crear tu prueba de sombras, rellena la página Introduce los detalles de la prueba de sombras haciendo lo siguiente:

  1. Abre la SageMaker consola.

  2. En el panel de navegación izquierdo, selecciona Inferencia y, a continuación, selecciona Pruebas ocultas.

  3. Seleccione Crear prueba de sombras.

  4. En Nombre, introduzca un nombre para la prueba.

  5. (Opcional) En Descripción, introduzca una descripción para la prueba.

  6. (Opcional) Especifique las etiquetas mediante pares de clave y valor.

  7. Elija Next (Siguiente).

Introduzca la configuración de la prueba de sombras

Tras rellenar la página de detalles de introducción de la prueba de sombras, rellene la página de configuración de introducción de la prueba de sombras. Si ya tiene un punto final de SageMaker inferencia y una variante de producción, siga el flujo de trabajo Utilizar un punto final existente. Si aún no tiene un punto final, siga el flujo de trabajo Crear un nuevo punto final.

Use an existing endpoint

Si desea utilizar un punto final existente para la prueba, complete la página Introducir la configuración de la prueba paralela de la siguiente manera:

  1. Elija un rol que tenga la AmazonSageMakerFullAccess IAM política adjunta.

  2. Elija Usar un punto final existente y, a continuación, elija uno de los puntos finales disponibles.

  3. (Opcional) Para cifrar el volumen de almacenamiento de su terminal, elija una KMS clave existente o seleccione Introducir una clave en la lista desplegable situada debajo ARN de la KMS clave de cifrado. Si elige la segunda opción, aparecerá un campo para introducir la KMS claveARN. Introduzca la KMS clave ARN en ese campo.

  4. Si tienes varias variantes de producción detrás de ese punto final, elimina las que no quieras usar para la prueba. Para eliminar una variante del modelo, selecciónela y, a continuación, elija Eliminar.

  5. Si aún no tiene una variante de sombra, añada una variante de sombra. Para añadir una variante de sombra, haga lo siguiente:

    1. Elija Añadir.

    2. Elige la variante Sombra.

    3. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de sombra.

    4. Seleccione Guardar.

  6. (Opcional) En el paso anterior, se añade la variante de sombra con la configuración por defecto. Para modificar estos ajustes, seleccione la variante de sombra y elija Editar. Aparece el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo rellenar este cuadro de diálogo, consulteEditar una prueba de sombras.

  7. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione la casilla situada debajo de Duración. Aparece un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en los campos Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) Para los campos Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

    4. Seleccione Apply.

    La duración mínima es de 1 hora y la máxima de 30 días.

  8. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia de su punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  9. Seleccione Crear prueba paralela.

Create a new endpoint

Si no tiene un punto final existente o si desea crear uno nuevo para su prueba, complete la página Introducir la prueba oculta de la siguiente manera:

  1. Elija un rol que tenga la AmazonSageMakerFullAccess IAM política adjunta.

  2. Elija Crear un nuevo punto final.

  3. En Nombre, introduzca un nombre para el punto final.

  4. Añada una variante de producción y una variante oculta al punto final:

    • Para añadir una variante de producción, selecciona Añadir y, a continuación, selecciona Variante de producción. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de producción y, a continuación, seleccione Guardar.

    • Para añadir una variante de sombra, selecciona Añadir y, a continuación, selecciona Variante de sombra. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de sombra y, a continuación, seleccione Guardar.

  5. (Opcional) En el paso anterior, la variante de sombra se añade con la configuración predeterminada. Para modificar estos ajustes, seleccione la variante de sombra y elija Editar. Aparece el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo rellenar este cuadro de diálogo, consulteEditar una prueba de sombras.

  6. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione la casilla situada debajo de Duración. Aparece un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) En Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en formato de 24 horas.

    4. Seleccione Apply.

    La duración mínima es de 1 hora y la máxima de 30 días.

  7. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia de su punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  8. Seleccione Crear prueba paralela.

Tras completar los procedimientos anteriores, debería tener una prueba programada para que comience en la fecha y hora de inicio especificadas. Puede ver el progreso de la prueba desde un panel de control. Para obtener más información sobre cómo ver la prueba y las acciones que puede realizar, consulteCómo ver, supervisar y editar las pruebas de sombras.