Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Metriche di qualità dei modelli e monitoraggio di Amazon CloudWatch
I job di monitoraggio della qualità dei modelli calcolano diverse metriche per valutare la qualità e le prestazioni dei tuoi modelli di machine learning. Le metriche specifiche calcolate dipendono dal tipo di problema di machine learning: regressione, classificazione binaria o classificazione multiclasse. Il monitoraggio di queste metriche è fondamentale per rilevare la deriva del modello nel tempo. Le sezioni seguenti illustrano le principali metriche di qualità del modello per ogni tipo di problema, nonché come impostare il monitoraggio e gli avvisi automatici CloudWatch per monitorare continuamente le prestazioni del modello.
Nota
La deviazione standard dei parametri viene fornita solo quando sono disponibili almeno 200 campioni. Model Monitor calcola la deviazione standard campionando casualmente l'80% dei dati cinque volte, calcolando la metrica e prendendo la deviazione standard per tali risultati.
Metriche di regressione
Di seguito viene mostrato un esempio dei parametri elaborati dal monitoraggio della qualità del modello per un problema di regressione.
"regression_metrics" : { "mae" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940394 }, "mse" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940524 }, "rmse" : { "value" : 0.609248066149471, "standard_deviation" : 0.003079253267651125 }, "r2" : { "value" : -1.3766111872212665, "standard_deviation" : 0.022653980022771227 } }
Metriche di classificazione binaria
Di seguito viene mostrato un esempio dei parametri elaborati dal monitoraggio della qualità del modello per un problema di classificazione binaria.
"binary_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1, "1" : 2 }, "1" : { "0" : 0, "1" : 1 } }, "recall" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision" : { "value" : 0.3333333333333333, "standard_deviation" : "NaN" }, "accuracy" : { "value" : 0.5, "standard_deviation" : "NaN" }, "recall_best_constant_classifier" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "accuracy_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "true_positive_rate" : { "value" : 1.0, "standard_deviation" : "NaN" }, "true_negative_rate" : { "value" : 0.33333333333333337, "standard_deviation" : "NaN" }, "false_positive_rate" : { "value" : 0.6666666666666666, "standard_deviation" : "NaN" }, "false_negative_rate" : { "value" : 0.0, "standard_deviation" : "NaN" }, "receiver_operating_characteristic_curve" : { "false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ], "true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ] }, "precision_recall_curve" : { "precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ], "recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ] }, "auc" : { "value" : 1.0, "standard_deviation" : "NaN" }, "f0_5" : { "value" : 0.3846153846153846, "standard_deviation" : "NaN" }, "f1" : { "value" : 0.5, "standard_deviation" : "NaN" }, "f2" : { "value" : 0.7142857142857143, "standard_deviation" : "NaN" }, "f0_5_best_constant_classifier" : { "value" : 0.29411764705882354, "standard_deviation" : "NaN" }, "f1_best_constant_classifier" : { "value" : 0.4, "standard_deviation" : "NaN" }, "f2_best_constant_classifier" : { "value" : 0.625, "standard_deviation" : "NaN" } }
Metriche multiclasse
Di seguito viene mostrato un esempio dei parametri elaborati dal monitoraggio della qualità del modello per un problema di classificazione multiclasse.
"multiclass_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1180, "1" : 510 }, "1" : { "0" : 268, "1" : 138 } }, "accuracy" : { "value" : 0.6288167938931297, "standard_deviation" : 0.00375663881299405 }, "weighted_recall" : { "value" : 0.6288167938931297, "standard_deviation" : 0.003756638812994008 }, "weighted_precision" : { "value" : 0.6983172269629505, "standard_deviation" : 0.006195912915307507 }, "weighted_f0_5" : { "value" : 0.6803947317178771, "standard_deviation" : 0.005328406973561699 }, "weighted_f1" : { "value" : 0.6571162346664904, "standard_deviation" : 0.004385008075019733 }, "weighted_f2" : { "value" : 0.6384024354394601, "standard_deviation" : 0.003867109755267757 }, "accuracy_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_recall_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_precision_best_constant_classifier" : { "value" : 0.03752057718081697, "standard_deviation" : 0.001241536088657851 }, "weighted_f0_5_best_constant_classifier" : { "value" : 0.04473443104152011, "standard_deviation" : 0.0014460485504284792 }, "weighted_f1_best_constant_classifier" : { "value" : 0.06286421244683643, "standard_deviation" : 0.0019113576884608862 }, "weighted_f2_best_constant_classifier" : { "value" : 0.10570313141262414, "standard_deviation" : 0.002734216826748117 } }
Monitoraggio delle metriche di qualità dei modelli con CloudWatch
Se imposti il valore di enable_cloudwatch_metrics to True quando crei la pianificazione di monitoraggio, i job di monitoraggio della qualità del modello inviano tutte le metriche a. CloudWatch
I parametri di qualità del modello vengono visualizzati nel seguente spazio dei nomi:
-
Per endpoint in tempo reale:
aws/sagemaker/Endpoints/model-metrics -
Per processi di trasformazione di batch:
aws/sagemaker/ModelMonitoring/model-metrics
Per un elenco delle metriche emesse, consulta le sezioni precedenti di questa pagina.
Puoi utilizzare le CloudWatch metriche per creare un allarme quando una metrica specifica non soddisfa la soglia specificata. Per istruzioni su come creare CloudWatch allarmi, consulta Creare un CloudWatch allarme basato su una soglia statica nella Guida per l'CloudWatch utente.
