바이어스 드리프트 분석을 위한 CloudWatch 지표 - Amazon SageMaker

바이어스 드리프트 분석을 위한 CloudWatch 지표

이 가이드는 SageMaker Clalify에서 바이어스 드리프트 분석을 위해 사용할 수 있는 CloudWatch 지표와 관련 속성을 보여줍니다. 바이어스 드리프트 모니터링 작업은 훈련 전 편향 지표와 훈련 후 편향 지표를 모두 계산한 다음, 이를 다음과 같은 CloudWatch 네임스페이스에 게시하게 됩니다.

  • 실시간 엔드포인트인 경우: aws/sagemaker/Endpoints/bias-metrics

  • 배치 변환 작업인 경우: aws/sagemaker/ModelMonitoring/bias-metrics

CloudWatch 지표 이름은 해당 지표의 약식 이름을 bias_metric에 붙입니다.

예를 들어, bias_metric_CI는 클래스 불균형(CI)에 대한 편향 지표입니다.

참고

+/- infinity는 부동 소수점 숫자 +/- 2.348543e108의 형태로 게시되며, null 값을 포함한 오류는 게시되지 않습니다.

각 지표에는 다음 속성이 있습니다.

  • Endpoint: 해당 시, 모니터링되는 엔드포인트의 이름입니다.

  • MonitoringSchedule: 모니터링 작업을 위한 일정의 이름입니다.

  • BiasStage: 바이어스 드리프트 모니터링 작업의 단계 이름입니다. [Pre-training] 또는 [Post-Training]을 선택합니다.

  • Label: 모니터링 작업 분석 구성 label에 의해 제공되는 대상 특징의 이름입니다.

  • LabelValue: 모니터링 작업 분석 구성 label_values_or_threshold에 의해 제공되는 대상 특징의 값입니다.

  • Facet: 모니터링 작업 분석의 구성 패싯 name_of_index에 의해 제공되는 해당 패싯의 이름입니다.

  • FacetValue: 모니터링 작업 분석의 구성 패싯 nvalue_or_threshold에 의해 제공되는 해당 패싯의 값입니다.

모니터링 작업이 지표를 게시하지 않도록 하려면, 모델 바이어스 작업 정의의 Environment맵에서 publish_cloudwatch_metrics를 Disabled로 설정합니다.