Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Opciones para evaluar tu modelo de aprendizaje automático en Amazon SageMaker
Una vez realizada la entrenamiento de un modelo, evalúelo para determinar si su desempeño y precisión le permiten conseguir sus objetivos empresariales. Puede generar varios modelos mediante distintos métodos y evaluar cada uno de ellos. Por ejemplo, podría aplicar diferentes reglas empresariales para cada modelo y, a continuación, aplicar varias medias para determinar la sostenibilidad de cada modelo. Podría considerar si su modelo necesita ser más sensible que específico (o viceversa).
Puede evaluar el modelo mediante los datos históricos (sin conexión) o datos activos:
-
Prueba sin conexión: utilice los datos históricos, no activos, para enviar solicitudes al modelo para las inferencias.
Implemente el modelo de capacitación en un punto de enlace alfa y use los datos históricos para enviar solicitudes de inferencia a él. Para enviar las solicitudes, utiliza un cuaderno de Jupyter en tu instancia de Amazon SageMaker Notebook y la AWS SDK for Python (Boto) biblioteca de Python de alto nivel proporcionada por ella. SageMaker
-
Pruebas en línea con datos en tiempo real: SageMaker permite realizar pruebas A/B para modelos en producción mediante el uso de variantes de producción. Las variantes de producción son modelos que utilizan el mismo código de inferencia y se implementan en el mismo SageMaker punto final. Configure las variantes de producción de manera que una parte pequeña del tráfico activo se dirija al modelo que desea validar. Por ejemplo, puede elegir enviar el 10% del tráfico a una variante de modelo para la evaluación. Una vez que esté satisfecho con el rendimiento del modelo, puede dirigir el 100% del tráfico al modelo actualizado. Para ver un ejemplo de pruebas de modelos en producción, consulte Prueba de modelos con variantes de producción.
Para obtener más información, consulte artículos y libros acerca de cómo evaluar modelos; por ejemplo, Evaluating Machine Learning Models
Las opciones para la evaluación del modelo sin conexión incluyen las siguientes opciones:
-
Validación mediante un "conjunto de excepciones": los usuarios del machine learning normalmente separan una parte de los datos como un "conjunto de excepciones". No utilice estos datos para una capacitación de modelos.
Con este método, se evalúa hasta qué punto el modelo proporciona correctamente inferencias en el conjunto de excepciones. Después evalúa la eficacia con la que el modelo generaliza lo que ha aprendido en la entrenamiento inicial, en lugar de usar la "memoria" del modelo. Este enfoque para la validación ofrece una idea de la frecuencia con la que el modelo puede inferir la respuesta correcta.
De alguna forma, este enfoque es similar al de la enseñanza de los estudiantes de primaria. Primero, proporcióneles un conjunto de ejemplos que aprender y, a continuación, realice una prueba de su capacidad de generalización a partir de su aprendizaje. Con los deberes y los exámenes, plantea los problemas no incluidos en el aprendizaje inicial y determina si se pueden generalizar de forma efectiva. Los estudiantes con una memoria perfecta podrían memorizar los problemas en lugar de aprender las reglas.
Normalmente, el conjunto de datos de exclusiones es del 20-30% de los datos de capacitación.
-
Validación de k interacciones: en este enfoque de validación, divide el conjunto de datos de ejemplo en k partes. Trate cada una de estas partes como un conjunto de excepciones para las ejecuciones de capacitación k y utilice las otras partes k-1 como el conjunto de capacitación para esa ejecución. Genere modelos k mediante un proceso similar y agregue los modelos para generar su modelo final. El valor k se encuentra normalmente en el intervalo de 5 a 10.
