기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 품질 모니터링 작업은 다양한 지표를 계산하여 기계 학습 모델의 품질과 성능을 평가합니다. 계산된 특정 지표는 회귀, 바이너리 분류 또는 멀티클래스 분류와 같은 ML 문제의 유형에 따라 달라집니다. 시간 경과에 따른 모델 드리프트를 감지하려면 이러한 지표를 모니터링하는 것이 중요합니다. 다음 섹션에서는 각 문제 유형에 대한 주요 모델 품질 지표와 CloudWatch를 사용하여 모델의 성능을 지속적으로 추적하는 자동 모니터링 및 알림을 설정하는 방법을 다룹니다.
참고
지표의 표준 편차는 최소한 200개 이상의 샘플을 사용할 수 있는 경우에만 제공됩니다. Model Monitor가 표준 편차를 계산하는 방식은 계산 데이터의 80%를 5회 랜덤하게 샘플링하고 지표를 계산한 다음 해당 결과에 대한 표준 편차를 취하는 것입니다.
회귀 지표
다음 예제는 모델 품질 모니터가 회귀 문제에 대해 계산을 수행하는 경우의 지표를 보여줍니다.
"regression_metrics" : {
"mae" : {
"value" : 0.3711832061068702,
"standard_deviation" : 0.0037566388129940394
},
"mse" : {
"value" : 0.3711832061068702,
"standard_deviation" : 0.0037566388129940524
},
"rmse" : {
"value" : 0.609248066149471,
"standard_deviation" : 0.003079253267651125
},
"r2" : {
"value" : -1.3766111872212665,
"standard_deviation" : 0.022653980022771227
}
}바이너리 분류 지표
다음 예제는 모델 품질 모니터가 바이너리 분류 문제에 대해 계산을 수행하는 경우의 지표를 보여줍니다.
"binary_classification_metrics" : {
"confusion_matrix" : {
"0" : {
"0" : 1,
"1" : 2
},
"1" : {
"0" : 0,
"1" : 1
}
},
"recall" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"precision" : {
"value" : 0.3333333333333333,
"standard_deviation" : "NaN"
},
"accuracy" : {
"value" : 0.5,
"standard_deviation" : "NaN"
},
"recall_best_constant_classifier" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"precision_best_constant_classifier" : {
"value" : 0.25,
"standard_deviation" : "NaN"
},
"accuracy_best_constant_classifier" : {
"value" : 0.25,
"standard_deviation" : "NaN"
},
"true_positive_rate" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"true_negative_rate" : {
"value" : 0.33333333333333337,
"standard_deviation" : "NaN"
},
"false_positive_rate" : {
"value" : 0.6666666666666666,
"standard_deviation" : "NaN"
},
"false_negative_rate" : {
"value" : 0.0,
"standard_deviation" : "NaN"
},
"receiver_operating_characteristic_curve" : {
"false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ],
"true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ]
},
"precision_recall_curve" : {
"precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ],
"recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ]
},
"auc" : {
"value" : 1.0,
"standard_deviation" : "NaN"
},
"f0_5" : {
"value" : 0.3846153846153846,
"standard_deviation" : "NaN"
},
"f1" : {
"value" : 0.5,
"standard_deviation" : "NaN"
},
"f2" : {
"value" : 0.7142857142857143,
"standard_deviation" : "NaN"
},
"f0_5_best_constant_classifier" : {
"value" : 0.29411764705882354,
"standard_deviation" : "NaN"
},
"f1_best_constant_classifier" : {
"value" : 0.4,
"standard_deviation" : "NaN"
},
"f2_best_constant_classifier" : {
"value" : 0.625,
"standard_deviation" : "NaN"
}
}멀티클래스 지표
다음 예제는 모델 품질 모니터가 멀티클래스 분류 문제에 대해 계산을 수행하는 경우의 지표를 보여줍니다.
"multiclass_classification_metrics" : {
"confusion_matrix" : {
"0" : {
"0" : 1180,
"1" : 510
},
"1" : {
"0" : 268,
"1" : 138
}
},
"accuracy" : {
"value" : 0.6288167938931297,
"standard_deviation" : 0.00375663881299405
},
"weighted_recall" : {
"value" : 0.6288167938931297,
"standard_deviation" : 0.003756638812994008
},
"weighted_precision" : {
"value" : 0.6983172269629505,
"standard_deviation" : 0.006195912915307507
},
"weighted_f0_5" : {
"value" : 0.6803947317178771,
"standard_deviation" : 0.005328406973561699
},
"weighted_f1" : {
"value" : 0.6571162346664904,
"standard_deviation" : 0.004385008075019733
},
"weighted_f2" : {
"value" : 0.6384024354394601,
"standard_deviation" : 0.003867109755267757
},
"accuracy_best_constant_classifier" : {
"value" : 0.19370229007633588,
"standard_deviation" : 0.0032049848450732355
},
"weighted_recall_best_constant_classifier" : {
"value" : 0.19370229007633588,
"standard_deviation" : 0.0032049848450732355
},
"weighted_precision_best_constant_classifier" : {
"value" : 0.03752057718081697,
"standard_deviation" : 0.001241536088657851
},
"weighted_f0_5_best_constant_classifier" : {
"value" : 0.04473443104152011,
"standard_deviation" : 0.0014460485504284792
},
"weighted_f1_best_constant_classifier" : {
"value" : 0.06286421244683643,
"standard_deviation" : 0.0019113576884608862
},
"weighted_f2_best_constant_classifier" : {
"value" : 0.10570313141262414,
"standard_deviation" : 0.002734216826748117
}
}CloudWatch를 사용한 모델 품질 모니터링 지표
모니터링 일정을 만들 때 enable_cloudwatch_metrics의 값을 True로 설정하면, 모델 품질 모니터링 작업은 모든 지표를 CloudWatch로 전송하게 됩니다.
모델 품질 지표는 다음 네임스페이스에 표시됩니다.
-
실시간 엔드포인트인 경우:
aws/sagemaker/Endpoints/model-metrics -
배치 변환 작업인 경우:
aws/sagemaker/ModelMonitoring/model-metrics
방출되는 지표 목록은 이 페이지의 이전 섹션을 참조하세요.
CloudWatch 지표를 사용하면, 사용자가 지정한 임계값을 특정 지표가 충족하지 못할 경우 이를 알려주는 경보를 생성할 수 있습니다. CloudWatch 경보를 만드는 방법에 대한 지침은 CloudWatch 사용 설명서의 정적 임곗값을 기반으로 CloudWatch 경보 생성 섹션을 참조하세요.
