Creación de una prueba de sombra - Amazon SageMaker AI
Requisitos previosIntroducción de detalles de la prueba de sombra Introducción de pruebas de sombra

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de una prueba de sombra

Puede crear una prueba de sombra para comparar el rendimiento de una variante de sombra con el de una variante de producción. Puede ejecutar la prueba en un punto de conexión existente que atienda solicitudes de inferencia o puede crear un nuevo punto de conexión en el que ejecutar la prueba.

Para crear pruebas de sombra, debe especificar lo siguiente:

  • Una variante de producción que recibe y responde al 100 % las solicitudes de inferencia entrantes.

  • Una variante de sombra que recibe un porcentaje de las solicitudes entrantes, replicadas desde la variante de producción, pero que no devuelve ninguna respuesta.

Para cada variante, puede usar la SageMaker IA para controlar el modelo, el tipo de instancia y el recuento de instancias. Puedes configurar el porcentaje de solicitudes entrantes, conocido como porcentaje de muestreo de tráfico, que deseas replicar en tu variante oculta. SageMaker La IA gestiona la replicación de las solicitudes en tu variante oculta y puedes modificar el porcentaje de muestreo de tráfico cuando la prueba esté programada o en ejecución. Si lo desea, también puede activar la captura de datos para registrar las solicitudes y respuestas de las variantes de producción y de sombra.

nota

SageMaker La IA admite un máximo de una variante oculta por punto final. Para un punto de conexión con una variante de sombra, puede haber un máximo de una variante de producción.

Puede programar la prueba para que comience en cualquier momento y continuar durante un tiempo determinado. El valor predeterminado es de siete días y el máximo es de 30 días. Una vez finalizada la prueba, el punto de conexión vuelve al estado en el que se encontraba antes de comenzar la prueba. Esto garantiza que no tenga que limpiar los recursos manualmente una vez finalizada la prueba.

Puedes supervisar una prueba que se esté ejecutando a través de un panel de control en la consola de SageMaker IA. El panel proporciona una comparación paralela de las métricas de invocación y de instancia entre las variantes de producción y de sombra, además de una vista tabular con las estadísticas de métricas relevantes. Este panel también está disponible para las pruebas completadas. Una vez que haya revisado las métricas, puede elegir entre promocionar la variante de sombra para convertirla en la nueva variante de producción o conservar la variante de producción existente. Una vez que promocione la variante de sombra, esta responde a todas las solicitudes entrantes. Para obtener más información, consulte Promover una variante de sombra.

El siguiente procedimiento describe cómo crear una prueba paralela a través de la consola de SageMaker IA. Existen variaciones en el flujo de trabajo en función de si desea utilizar un punto de conexión existente o crear uno nuevo para la prueba de sombra.

Requisitos previos

Antes de crear una prueba paralela con la consola de SageMaker IA, debes tener un modelo de SageMaker IA listo para su uso. Para obtener más información sobre cómo crear un modelo de SageMaker IA, consulteImplementación de modelos para inferencia en tiempo real.

Puedes empezar con las pruebas paralelas con un punto final existente con una variante de producción y una variante oculta, un punto final existente con solo una variante de producción o solo con los modelos de SageMaker IA que quieras comparar. Las pruebas de sombra permiten crear un punto de conexión y añadir variantes antes de que comience la prueba.

nota

Determinadas características de los puntos de conexión pueden hacer que el punto de conexión no sea compatible con las pruebas de sombra. Si el punto de conexión utiliza alguna de las siguientes características, no podrá utilizar pruebas de sombra en el punto de conexión, por lo que la solicitud de configurar pruebas de sombra provocará errores de validación.

  • Inferencia sin servidor

  • Inferencia asíncrona

  • Contenedores de Marketplace

  • Puntos de conexión con varios contenedores

  • Puntos de conexión multimodelo

  • Puntos de conexión que utilizan instancias Inf1 (basadas en inferencia)

Introducción de detalles de la prueba de sombra

Para empezar a crear una prueba de sombra, complete la página Ingresar los detalles de la prueba de sombra de la siguiente manera:

  1. Abre la consola de SageMaker IA.

  2. En el panel de navegación de la izquierda, elija Inferencia y luego Pruebas de sombra.

  3. Seleccione Crear prueba de sombra.

  4. En Nombre, escriba un nombre para la prueba.

  5. (Opcional) En Descripción, introduzca una descripción para la prueba.

  6. (Opcional) Especifique Etiquetas mediante los pares de Clave y Valor.

  7. Elija Next (Siguiente).

Introducción de pruebas de sombra

Tras completar la página Ingresar los detalles de la prueba de sombra, complete la página Ingresar la configuración de la prueba de sombra. Si ya tiene un punto final de inferencia de SageMaker IA y una variante de producción, siga el flujo de trabajo Utilizar un punto final existente. Si aún no dispone de un punto de conexión, siga el flujo de trabajo Crear un nuevo punto de conexión.

Use an existing endpoint

Si desea utilizar un punto de conexión existente para la prueba, complete la página Ingresar la configuración de la prueba de sombra de la siguiente manera:

  1. Elija un rol que tenga la AmazonSageMakerFullAccess IAM política adjunta.

  2. Seleccione Usar un punto de conexión existente y luego elija uno de los puntos de conexión disponibles.

  3. (Opcional) Para cifrar el volumen de almacenamiento de su terminal, elija una KMS clave existente o seleccione Introducir una KMS clave en la lista desplegable situada debajo ARN de la clave de cifrado. Si elige la segunda opción, aparecerá un campo para introducir la KMS claveARN. Introduzca la KMS clave ARN en ese campo.

  4. Si tiene varias variantes de producción detrás de ese punto de conexión, elimine las que no desee usar para la prueba. Para eliminar una variante del modelo, selecciónela y, a continuación, elija Eliminar.

  5. Si aún no tiene una variante de sombra, añádala. Para añadir una variante de sombra, haga lo siguiente:

    1. Elija Agregar.

    2. Elija Variante de sombra.

    3. En el cuadro de diálogo Agregar modelo, elija el modelo que desea utilizar para la variante de sombra.

    4. Seleccione Guardar.

  6. (Opcional) En el paso anterior se añade la variante de sombra con la configuración predeterminada. Para modificar esta configuración, seleccione la variante de sombra y elija Editar. Aparecerá el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo completar este cuadro de diálogo, consulte Edición de una prueba de sombra.

  7. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione el cuadro situado en Duración. Aparecerá un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en los campos Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) En los campos Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

    4. Seleccione Aplicar.

    La duración mínima es de una hora y la máxima es de 30 días.

  8. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia del punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  9. Seleccione Crear prueba de sombra.

Create a new endpoint

Si no tiene un punto de conexión existente, o desea crear uno nuevo para la prueba, complete la página Ingresar la configuración de la prueba de sombra de la siguiente manera:

  1. Elija un rol que tenga la AmazonSageMakerFullAccess IAM política adjunta.

  2. Seleccione Crear un nuevo punto de conexión.

  3. En Nombre, escriba un nombre para el punto de conexión.

  4. Añada una variante de producción y una variante de sombra al punto de conexión:

    • Para añadir una variante de producción, seleccione Agregar y luego Variante de producción. En el cuadro de diálogo Agregar modelo, elija el modelo que desee utilizar para la variante de producción y, a continuación, seleccione Guardar.

    • Para añadir una variante de sombra, seleccione Agregar y luego Variante de sombra. En el cuadro de diálogo Agregar modelo, elija el modelo que desee utilizar para la variante de sombra y, a continuación, seleccione Guardar.

  5. (Opcional) En el paso anterior se añade la variante de sombra con la configuración predeterminada. Para modificar esta configuración, seleccione la variante de sombra y elija Editar. Aparecerá el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo completar este cuadro de diálogo, consulte Edición de una prueba de sombra.

  6. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione el cuadro situado en Duración. Aparecerá un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) En Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

    4. Seleccione Aplicar.

    La duración mínima es de una hora y la máxima es de 30 días.

  7. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia del punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  8. Seleccione Crear prueba de sombra.

Tras completar los procedimientos anteriores, debería tener una prueba programada para que comience en la fecha y hora de inicio especificadas. Puede ver el progreso de la prueba en un panel. Para obtener más información sobre cómo ver la prueba y las acciones que puede realizar, consulte Cómo ver, supervisar y editar las pruebas de sombra.