Ya no actualizamos el servicio Amazon Machine Learning ni aceptamos nuevos usuarios para él. Esta documentación está disponible para los usuarios actuales, pero ya no la actualizamos. Para obtener más información, consulte Qué es Amazon Machine Learning.
Alertas de evaluación
Amazon ML proporciona estadísticas para ayudarle a validar si ha evaluado el modelo correctamente. Si la evaluación no cumple alguno de los criterios de validación, la consola de Amazon ML le informa mostrándole el criterio de validación que se haya infringido, tal y como se indica a continuación.
-
La evaluación del modelo de ML se realiza a partir de datos separados
Amazon ML le informa si utiliza la misma fuente de datos para el entrenamiento y para la evaluación. Si utiliza Amazon ML para dividir los datos, cumplirá este criterio de validez. Si no utiliza Amazon ML para dividir los datos, asegúrese de evaluar el modelo de ML con una fuente de datos que no sea la fuente de datos de entrenamiento.
-
Se utilizaron suficientes datos para la evaluación del modelo de predicción
Amazon ML le informa si el número de observaciones o registros de la evaluación de los datos es inferior al 10% del número de observaciones que tiene en la fuente de datos de entrenamiento. Para poder evaluar el modelo, es importante proporcionar una muestra de datos suficientemente grande. Este criterio proporciona una comprobación para informarle de si no está utilizando suficientes datos. La cantidad de datos necesaria para evaluar su modelo de machine learning es subjetiva. Aquí se selecciona el 10% como medida provisional a falta de una medida mejor.
-
Esquema asignado
Amazon ML le informa si el esquema de la fuente de datos para el entrenamiento y para la evaluación no son iguales. Si tiene determinados atributos que no existen en la evaluación de datos o si tiene atributos adicionales, Amazon ML muestra esta alerta.
-
Todos los registros de archivos de evaluación utilizados para la evaluación del rendimiento de modelo predictivo
Es importante saber si todos los registros previstos de evaluación se utilizan para evaluar el modelo. Amazon ML le informa si algunos registros en la evaluación de datos no son válidos y no se incluyen en el cálculo de las métricas de precisión. Por ejemplo, si falta la variable de destino para algunas de las observaciones en la evaluación de datos, Amazon ML no podrá comprobar si las predicciones del modelo de ML son correctas. En este caso, los registros a los que les falten valores de destino se considerarán no válidos.
-
Distribución de variables de destino
Amazon ML le muestra la distribución del atributo de destino de las fuentes de datos del entrenamiento y la evaluación para que pueda revisar si el destino se distribuye igualmente en ambas fuentes de datos. En caso de que el modelo se entrenara con datos de entrenamiento con una distribución de destino diferente a la distribución de destino de los datos de la evaluación, la calidad de la evaluación podría verse afectada puesto que se calcularía basándose en datos con estadísticas muy dispares. Es mejor distribuir los datos de forma similar entre el entrenamiento y la evaluación, para que estos conjuntos de datos imiten en la máxima medida posible los datos que el modelo encontrará a la hora de realizar predicciones.
Si esta alerta se activa, pruebe a aplicar la estrategia de división aleatoria para dividir los datos entre fuentes de datos de formación y evaluación. En casos excepcionales, esta alerta podría avisarle erróneamente de las diferencias de la distribución de destino, a pesar de dividir los datos de forma aleatoria. Amazon ML utiliza estadísticas de datos aproximadas para evaluar la distribución de los datos, generando a veces esta alerta por error.
