Validación de modelos en producción

Con SageMaker ella, puede probar varios modelos o versiones de modelos en el mismo punto final mediante variantes. Una variante consta de una instancia de aprendizaje automático y los componentes de servicio especificados en un SageMaker modelo. Puede disponer de varias variantes detrás de un punto de conexión. Cada variante puede tener un tipo de instancia diferente o un SageMaker modelo al que se puede ajustar automáticamente la escala de forma independiente de los demás. Los modelos de las variantes se pueden entrenar utilizando diferentes conjuntos de datos, diferentes algoritmos, diferentes marcos de ML o cualquier combinación de todos ellos. Todas las variantes detrás de un punto final comparten el mismo código de inferencia. SageMaker admite dos tipos de variantes, las variantes de producción y las variantes ocultas.

Si tiene varias variantes de producción detrás de un punto de conexión, puede asignar una parte de sus solicitudes de inferencia a cada variante. Cada solicitud se envía a una sola de las variantes de producción. La variante de producción a la que se envió la solicitud proporciona la respuesta a la persona que llama. Puede comparar el rendimiento de las variantes de producción entre sí.

También puede disponer de una variante oculta correspondiente a una variante de producción situada detrás de un punto de conexión. Una parte de las solicitudes de inferencia que se destinan a la variante de producción se replica en la variante oculta. Las respuestas de la variante oculta se registran para compararlas y no se devuelven a la persona que llama. Esto le permite probar el rendimiento de la variante oculta sin exponer a la persona que llama a la respuesta producida por la variante oculta.