Pruebas de sombra - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Pruebas de sombra

Con Amazon, SageMaker puede evaluar cualquier cambio en su infraestructura de servicio de modelos comparando su rendimiento con el de la infraestructura actualmente implementada. Esta práctica se conoce como pruebas en la sombra. Las pruebas clandestinas pueden ayudarle a detectar posibles errores de configuración y problemas de rendimiento antes de que afecten a los usuarios finales. De este modo SageMaker, no necesita invertir en la creación de una infraestructura de pruebas clandestinas, por lo que puede centrarse en el desarrollo de modelos.

Puede utilizar esta capacidad para validar los cambios en cualquier componente de su variante de producción, es decir, el modelo, el contenedor o la instancia, sin que ello repercuta en el usuario final. Resulta útil en situaciones que incluyen, entre otras, las siguientes:

  • Está pensando en promocionar un nuevo modelo que haya sido validado fuera de línea para su puesta en producción, pero desea evaluar las métricas de rendimiento operativo, como la latencia y la tasa de errores, antes de tomar esta decisión.

  • Está considerando realizar cambios en el contenedor de su infraestructura de servicio, como parchear las vulnerabilidades o actualizar a versiones más recientes, y desea evaluar el impacto de estos cambios antes de pasar a la fase de producción.

  • Está pensando en cambiar su instancia de aprendizaje automático y quiere evaluar el rendimiento de la nueva instancia con las solicitudes de inferencia en tiempo real.

La SageMaker consola proporciona una experiencia guiada para gestionar el flujo de trabajo de las pruebas paralelas. Puede configurar las pruebas paralelas durante un período de tiempo predefinido, supervisar el progreso de la prueba a través de un panel de control en vivo, limpiarlas una vez finalizadas y actuar en función de los resultados. Seleccione una variante de producción con la que desee realizar la prueba y, de SageMaker forma automática, despliega la nueva variante en modo oculto y le envía una copia de las solicitudes de inferencia en tiempo real desde el mismo punto final. Solo las respuestas de la variante de producción se devuelven a la aplicación que realiza la llamada. Puede optar por descartar o registrar las respuestas de la variante oculta para compararlas sin conexión a Internet. Para obtener más información sobre las variantes de producción y sombra, consulteValidación de modelos en producción.

Consulte las Crea una prueba de sombras instrucciones sobre cómo crear una prueba de sombras.

nota

Determinadas funciones de los puntos finales pueden hacer que su punto final sea incompatible con las pruebas paralelas. Si su dispositivo de punto final utiliza alguna de las siguientes funciones, no podrá utilizar pruebas paralelas en su dispositivo de punto final y, si solicita configurarlas, se producirán errores de validación.

  • Inferencia sin servidor

  • Inferencia asíncrona

  • Contenedores de Marketplace

  • Puntos de conexión con varios contenedores

  • Puntos de conexión multimodelo

  • Puntos de conexión que utilizan instancias Inf1 (basadas en inferencia)