Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Métricas de calidad de modelos y CloudWatch monitoreo de Amazon
Los trabajos de supervisión de la calidad de los modelos calculan diferentes métricas para evaluar la calidad y el rendimiento de sus modelos de machine learning. Las métricas específicas calculadas dependen del tipo de problema de ML: regresión, clasificación binaria o clasificación multiclase. La supervisión de estas métricas es crucial para detectar la desviación del modelo a lo largo del tiempo. En las siguientes secciones se explican las principales métricas de calidad del modelo para cada tipo de problema, así como la forma de configurar la supervisión y las alertas automatizadas CloudWatch para realizar un seguimiento continuo del rendimiento del modelo.
nota
La desviación estándar de las métricas se proporciona solo cuando hay al menos 200 muestras disponibles. El Monitor de modelos calcula la desviación estándar tomando muestras aleatorias del 80 % de los datos cinco veces, calculando la métrica y tomando la desviación estándar de esos resultados.
Métricas de regresión
A continuación, se muestra un ejemplo de las métricas que el monitor de calidad del modelo calcula para un problema de regresión.
"regression_metrics" : { "mae" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940394 }, "mse" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940524 }, "rmse" : { "value" : 0.609248066149471, "standard_deviation" : 0.003079253267651125 }, "r2" : { "value" : -1.3766111872212665, "standard_deviation" : 0.022653980022771227 } }
Métricas de clasificación binaria
A continuación, se muestra un ejemplo de las métricas que el monitor de calidad del modelo calcula para un problema de clasificación binaria.
"binary_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1, "1" : 2 }, "1" : { "0" : 0, "1" : 1 } }, "recall" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision" : { "value" : 0.3333333333333333, "standard_deviation" : "NaN" }, "accuracy" : { "value" : 0.5, "standard_deviation" : "NaN" }, "recall_best_constant_classifier" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "accuracy_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "true_positive_rate" : { "value" : 1.0, "standard_deviation" : "NaN" }, "true_negative_rate" : { "value" : 0.33333333333333337, "standard_deviation" : "NaN" }, "false_positive_rate" : { "value" : 0.6666666666666666, "standard_deviation" : "NaN" }, "false_negative_rate" : { "value" : 0.0, "standard_deviation" : "NaN" }, "receiver_operating_characteristic_curve" : { "false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ], "true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ] }, "precision_recall_curve" : { "precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ], "recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ] }, "auc" : { "value" : 1.0, "standard_deviation" : "NaN" }, "f0_5" : { "value" : 0.3846153846153846, "standard_deviation" : "NaN" }, "f1" : { "value" : 0.5, "standard_deviation" : "NaN" }, "f2" : { "value" : 0.7142857142857143, "standard_deviation" : "NaN" }, "f0_5_best_constant_classifier" : { "value" : 0.29411764705882354, "standard_deviation" : "NaN" }, "f1_best_constant_classifier" : { "value" : 0.4, "standard_deviation" : "NaN" }, "f2_best_constant_classifier" : { "value" : 0.625, "standard_deviation" : "NaN" } }
Métricas multiclase
A continuación, se muestra un ejemplo de las métricas que el monitor de calidad del modelo calcula para un problema de clasificación multiclase.
"multiclass_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1180, "1" : 510 }, "1" : { "0" : 268, "1" : 138 } }, "accuracy" : { "value" : 0.6288167938931297, "standard_deviation" : 0.00375663881299405 }, "weighted_recall" : { "value" : 0.6288167938931297, "standard_deviation" : 0.003756638812994008 }, "weighted_precision" : { "value" : 0.6983172269629505, "standard_deviation" : 0.006195912915307507 }, "weighted_f0_5" : { "value" : 0.6803947317178771, "standard_deviation" : 0.005328406973561699 }, "weighted_f1" : { "value" : 0.6571162346664904, "standard_deviation" : 0.004385008075019733 }, "weighted_f2" : { "value" : 0.6384024354394601, "standard_deviation" : 0.003867109755267757 }, "accuracy_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_recall_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_precision_best_constant_classifier" : { "value" : 0.03752057718081697, "standard_deviation" : 0.001241536088657851 }, "weighted_f0_5_best_constant_classifier" : { "value" : 0.04473443104152011, "standard_deviation" : 0.0014460485504284792 }, "weighted_f1_best_constant_classifier" : { "value" : 0.06286421244683643, "standard_deviation" : 0.0019113576884608862 }, "weighted_f2_best_constant_classifier" : { "value" : 0.10570313141262414, "standard_deviation" : 0.002734216826748117 } }
Supervise las métricas de calidad del modelo con CloudWatch
Si establece el valor de t enable_cloudwatch_metrics True al crear el programa de monitoreo, los trabajos de monitoreo de la calidad del modelo envían todas las métricas a CloudWatch.
Las métricas de calidad del modelo aparecen en el siguiente espacio de nombres:
-
Para puntos de conexión en tiempo real:
aws/sagemaker/Endpoints/model-metrics -
Para trabajos de transformación por lotes:
aws/sagemaker/ModelMonitoring/model-metrics
Para obtener una lista de las métricas que se emiten, consulte las secciones anteriores de esta página.
Puede usar CloudWatch las métricas para crear una alarma cuando una métrica específica no alcance el umbral que especifique. Para obtener instrucciones sobre cómo crear CloudWatch alarmas, consulte Crear una CloudWatch alarma basada en un umbral estático en la Guía del CloudWatch usuario.
