훈련 후 데이터 및 모델 편향 지표 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

훈련 후 데이터 및 모델 편향 지표

Amazon SageMaker Clarify는 다양한 공정성 개념을 정량화하는 데 도움이 되는 11개의 훈련 후 데이터 및 모델 편향 지표를 제공합니다. 이러한 개념을 모두 동시에 충족할 수는 없으며, 그 선택은 분석 대상의 잠재적 편향과 관련된 구체적인 사례에 따라서 달라지게 됩니다. 이러한 지표는 대부분 다양한 인구 집단에 대한 바이너리 분류 혼동 행렬에서 가져온 숫자 값들이 조합되어 있는 형태입니다. 공정성과 편향성은 다양한 지표에 의해 정의될 수 있는 만큼, 개별 사용 사례에 적합한 지표가 무엇인지 이해하고 선택하는 과정에서 사람의 판단이 요구되며, 고객은 적절한 이해관계자와의 상의를 통해 해당 응용 분야에 맞는 공정성 척도가 결정될 수 있도록 해야 합니다.

편향 지표에 대해 설명하기 위해 다음 표기법을 사용합니다. 여기서 설명하는 개념적 모델은 바이너리 분류를 위한 것으로, 이 모델에서는 해당 샘플 공간에서 가능한 이벤트의 결과가 두 종류뿐인 것으로 레이블이 지정되며, 이를 양수(값 1)및 음수(값 0)라고 합니다. 이 프레임워크는 일반적으로 간단한 방법을 통해 멀티카테고리 분류로 확장하거나 필요 시에는 연속형 출력 값을 가지는 경우에도 활용될 수 있습니다. 바이너리 분류를 수행하는 경우, 유리한 패싯 a와 불리한 패싯 d에 대해 원시 데이터 세트에 기록된 결과에 양수 및 음수 레이블이 할당됩니다. 이러한 레이블 y는 ML 수명 주기의 훈련 또는 추론 단계를 거치면서 기계 학습 모델에 의해 할당되는 예측된 레이블 y'와 구분짓기 위해 관찰된 레이블이라고 부릅니다. 이들 레이블은 각각의 패싯 결과에 대한 확률 분포 Pa(y)와 Pd(y)를 정의하는 데 사용됩니다.

  • 레이블

    • y는 훈련 데이터 세트에서의 이벤트 결과에 대해 관찰된 n개의 레이블을 나타냅니다.

    • y'는 훈련된 모델이 데이터 세트에서 관찰한 n개의 레이블에 대해 예측된 레이블을 나타냅니다.

  • 결과:

    • 샘플에 대한 긍정적인 결과(값 1)(예: 신청 승인)

      • n(1)은 긍정적인 결과(승인)에 대해 관찰된 레이블의 수입니다.

      • n'(1)은 긍정적인 결과(승인)에 대해 예측된 레이블의 수입니다.

    • 샘플에 대한 부정적인 결과(값 0)(예: 신청 거부).

      • n(0)은 부정적인 결과(거부)에 대해 관찰된 레이블의 수입니다.

      • n'(0)은 부정적인 결과(거부)에 대해 예측된 레이블의 수입니다.

  • 패싯 값:

    • 패싯 a - 유리하게 편향되는 인구 집단을 정의하는 특징 값입니다.

      • na은 유리한 패싯 값에 대해 관찰된 레이블의 수입니다: na = na(1) + na(0) 패싯값 a에 대해 관찰된 양수 및 음수 레이블의 합계.

      • n’a은 유리한 패싯 값에 대해 예측된 레이블의 수입니다: n’a = n’a(1) + n’a(0) 패싯값 a에 대해 예측된 양수 및 음수 결과 레이블의 합계. 참고로 an' = na입니다.

    • 패싯 d - 불리하게 편향되는 인구 집단을 정의하는 특징 값입니다.

      • nd은 불리한 패싯 값에 대해 관찰된 레이블의 수입니다: nd = nd(1) + nd(0) 패싯값 d에 대해 관찰된 양수 및 음수 레이블의 합계.

      • n’d은 불리한 패싯 값에 대해 예측된 레이블의 수입니다: n’d = n’d(1) + n’d(0) 패싯값 d에 대해 예측된 양수 및 음수 결과 레이블의 합계. 참고로 dn' = nd입니다.

  • 레이블이 지정된 패싯 데이터 결과의 결과값에 대한 확률 분포:

    • Pa(y)는 패싯 a에 대해 관찰된 레이블의 확률 분포입니다. 바이너리 레이블이 지정된 데이터의 경우, 이 분포는 전체 수에 대해 긍정적인 결과로 레이블이 지정된 패싯 a의 샘플 수의 비율인 Pa(y1) = na(1)/ na과 전체 수에 대해 부정적인 결과가 나온 샘플 수의 비율인 Pa(y0) = na(0)/ na에 의해 제공됩니다.

    • Pd(y)는 패싯 d에 대해 관찰된 레이블의 확률 분포입니다. 바이너리 레이블이 지정된 데이터의 경우, 이 분포는 전체 수에 대해 긍정적인 결과로 레이블이 지정된 패싯 d의 샘플 수인 Pd(y1) = nd(1)/ nd과 전체 수에 대해 부정적인 결과가 나온 샘플 수의 비율인 Pd(y0) = nd(0)/ nd에 의해 제공됩니다.

다음 표에는 빠른 지침을 위한 치트 시트와 훈련 후 편향 지표에 대한 링크가 포함되어 있습니다.

훈련 후 편향 지표

훈련 후 편향 지표 설명 예시 질문 지표 값의 해석
예측 레이블의 양수 비율 차이(DPPL) 유리한 패싯 a와 불리한 패싯 d 사이에서 양수 예측값의 비율의 차이를 측정합니다.

긍정적인 예측 결과값에 여러 인구 집단 사이의 편향을 나타낼 수 있는 불균형이 있었나요?

정규화된 바이너리 및 멀티카테고리 패싯 레이블의 범위: [-1,+1]

연속형 레이블의 범위: (-∞, +∞)

해석:

  • 양수 값은 긍정적인 예측 결과의 비율이 유리한 패싯 a에서 더 높다는 것을 나타냅니다.

  • 값이 0에 근접했다면 패싯 간에 긍정적인 예측 결과의 비율이 비교적 균등함을 나타냅니다.

  • 음수 값은 긍정적인 예측 결과의 비율이 불리한 패싯 d에서 더 높다는 것을 나타냅니다.
불평등 효과(DI) 유리한 패싯 a와 불리한 패싯 d에 대한 예측 레이블의 비율의 비를 측정합니다. 긍정적인 예측 결과값에 여러 인구 집단 사이의 편향을 나타낼 수 있는 불균형이 있었나요?

정규화된 바이너리, 멀티카테고리 패싯 및 연속형 레이블의 범위: [0,∞]

해석:

  • 1보다 작은 값은 긍정적인 예측 결과의 비율이 유리한 패싯 a에서 더 높다는 것을 나타냅니다.

  • 값이 1이면 인구통계학적 평등이 달성된 것입니다.

  • 1보다 큰 값은 긍정적인 예측 결과의 비율이 불리한 패싯 d에서 더 높다는 것을 나타냅니다.
예측 레이블의 조건부 인구통계학적 차이(CDDPL) 전체 패싯 사이에서 예측 레이블의 차이를 측정하지만 부분군별로도 측정합니다. 일부 인구 집단의 대출 결과에 있어 거부 비율이 승인 비율보다 더 높은가요?

이진, 다중 범주 및 연속 결과의 CDDPL 값 범위: [-1, +1]

  • 양수 값은 패싯 d의 결과에서 승인보다 거부가 많음을 나타냅니다.

  • 0에 가까우면 평균적으로 인구통계학적 차이가 없음을 나타냅니다.

  • 음수 값은 패싯 a의 결과에서 승인보다 거부가 많음을 나타냅니다.
반사실적 플립테스트(FT) 패싯 d의 각 멤버를 살펴보고 패싯 a의 유사한 멤버들이 서로 다른 모델 예측을 갖는지 여부를 평가합니다. 특정 연령대 인구 집단이 모든 특징에 있어 다른 연령대 그룹의 특징들과 밀접하게 일치하는데도 평균적으로 더 많은 급여를 받고 있나요? 바이너리 및 멀티카테고리 패싯 레이블의 범위는 [-1, +1]입니다.

  • 양수 값은 불리한 패싯 d에 대한 불리한 반사실적 플립테스트 결정의 수가 유리한 결정의 수를 초과할 때 발생합니다.

  • 불리한 반사실적 플립테스트 결정 수와 유리한 반사실적 결정의 수가 균형을 이룰 때 값이 0에 가까워집니다.

  • 음수 값은 불리한 패싯 d에 대한 불리한 반사실적 플립테스트 결정 수가 유리한 결정보다 적을 때 발생합니다.
정확도 차이(AD) 유리한 패싯과 불리한 패싯에 대한 예측 정확도 간의 차이를 측정합니다. 모델이모든 인구 집단의 적용 사례에 걸쳐 레이블을 정확하게 예측하고 있나요? 바이너리 및 멀티카테고리 패싯 레이블의 범위는 [-1, +1]입니다.

  • 양수 값은 패싯 d가 거짓 긍정(제1종 오류) 또는 거짓 부정(제2종 오류)의 일정한 조합으로 인해 비교적 많은 영향을 받고 있음을 나타냅니다. 이는 불리한 패싯 d에 대해 잠재적 편향이 발생하고 있음을 의미합니다.

  • 패싯 a에 대한 예측 정확도가 패싯 d에 대한 예측 정확도와 비슷할 때 0에 가까운 값이 얻어집니다.

  • 음수 값은 패싯 a가 거짓 긍정(제1종 오류) 또는 거짓 부정(제2종 오류)의 일정한 조합으로 인해 비교적 많은 영향을 받고 있음을 나타냅니다. 이는 유리한 패싯 a에 대해 편향이 발생할 수 있음을 의미합니다.
재현율 차이(RD) 유리한 패싯과 불리한 패싯에 대한 모델의 재현율을 비교합니다. 한 연령대에 대한 재현율이 다른 연령대에 비해 높은 모델로 인해 연령에 따른 대출 편향이 발생하고 있나요?

바이너리 및 멀티카테고리 분류의 범위: [-1, +1].

  • 양수 값은 모델이 패싯 a에서 참 긍정을 더 많이 생성하고 있고 불리한 패싯 d에 대해 편향되어 있음을 시사합니다.

  • 값이 0에 가까우면 모델이 양쪽 패싯에서 거의 같은 수의 참 긍정을 생성하고 있고 편향되지 않았음을 시사합니다.

  • 음수 값은 모델이 패싯 d에서 참 긍정을 더 많이 생성하고 있고 유리한 패싯 a에 대해 편향되어 있음을 시사합니다.
조건부 수락의 차이(DCAcc) 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교합니다. 예측된 긍정적 결과(승인)에 있어 여러 패싯에서 이 값이 동일한지 여부를 평가합니다. 한 연령대를 다른 연령대와 비교했을 때, 대출이 더 자주 승인되거나 또는 예측치보다 드물게 승인(자격 취득 기준)되고 있나요?

바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위: (-∞, +∞).

  • 양수 값은 불리한 패싯 d에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다.

  • 값이 0에 근접했다면 두 패싯 모두에서 적격 신청자가 비슷한 방식으로 승인되고 있음을 나타냅니다.

  • 음수 값은 유리한 패싯 a에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다.
허용률 차이(DAR) 유리한 패싯과 불리한 패싯 사이에서 긍정적 관찰 결과(TP)와 긍정적 예측 결과(TP+FP)의 비율 차이를 측정합니다. 적격 신청자에 대한 대출 승인을 예측할 때 모든 연령대에 걸쳐 모델의 정밀도가 동등한가요? 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위는 [-1, +1]입니다.

  • 양수 값은 불리한 패싯 d에서 상대적으로 더 많은 거짓 긍정이 생성됨에 따라 패싯 d에 대한 편향이 존재할 수 있음을 나타냅니다.

  • 값이 0에 가까우면 모델에 의해 긍정적 결과(승인)에 대한 관찰 레이블이 두 패싯 모두에서 동일한 정밀도로 예측되고 있음을 나타냅니다.

  • 음수 값은 유리한 패싯 a에서 상대적으로 더 많은 거짓 긍정이 생성됨에 따라 패싯 a에 대한 편향이 존재할 수 있음을 나타냅니다.
특이도 차이(SD) 유리한 패싯과 불리한 패싯 간의 모델 특이도를 비교합니다. 한 연령대에 대한 특이도가 다른 연령대에 비해 높게 예측되는 모델로 인해 연령에 따른 대출 편향이 발생하고 있나요?

바이너리 및 멀티카테고리 분류의 범위: [-1, +1].

  • 양수 값은 모델이 패싯 d에서 거짓 긍정을 덜 생성하고 있고 불리한 패싯 d에 대해 편향되어 있음을 시사합니다.

  • 값이 0에 가까우면 모델이 양쪽 패싯에서 비슷한 수의 거짓 긍정을 생성하고 있고 편향되지 않았음을 시사합니다.

  • 음수 값은 모델이 패싯 a에서 거짓 긍정을 덜 생성하고 있고 유리한 패싯 a에 대해 편향되어 있음을 시사합니다.
조건부 거부의 차이(DCR) 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 부정적인 결과(거부)에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. 자격 취득을 기준으로 한 연령대에서 다른 연령대에 비해 대출 신청 거부 건수가 예측치보다 많거나 적은가요? 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위: (-∞, +∞).

  • 양수 값은 불리한 패싯 d에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다.

  • 값이 0에 근접했다면 두 패싯 모두에서 적격 신청자가 비슷한 방식으로 거부되고 있음을 나타냅니다.

  • 음수 값은 유리한 패싯 a에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다.
거부율의 차이(DRR) 불리한 패싯과 유리한 패싯 사이에서 부정적 관찰 결과(TN)와 부정적 예측 결과(TN+FN)의 비율 차이를 측정합니다. 부적격 신청자에 대한 대출 거부를 예측할 때 모든 연령대에 걸쳐 모델의 정밀도가 동등한가요? 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위는 [-1, +1]입니다.

  • 양수 값은 유리한 패싯 a에서 상대적으로 더 많은 거짓 부정이 생성됨에 따라 편향이 존재할 수 있음을 나타냅니다.

  • 값이 0에 가까우면 부정적인 결과(거부)가 두 패싯 모두에 대해 동등한 정밀도로 예측되고 있음을 나타냅니다.

  • 음수 값은 불리한 패싯 d에서 상대적으로 더 많은 거짓 부정이 생성됨에 따라 편향이 존재할 수 있음을 나타냅니다.
대우 평등(TE) 유리한 패싯과 불리한 패싯 사이에서 거짓 긍정 및 거짓 부정의 비율 차이를 측정합니다. 대출 신청에서 거짓 긍정과 거짓 부정의 상대적 비율이 모든 연령대의 인구 집단에 걸쳐 동일한가요? 바이너리 및 멀티카테고리 패싯 레이블의 범위: (-∞, +∞).

  • 양수 값은 패싯 a에 대한 거짓 긍정과 거짓 부정의 비율이 패싯 d에서의 비율보다 클 때 얻어집니다.

  • 0에 가까운 값은 패싯 a에 대한 거짓 긍정과 거짓 부정의 비율이 패싯 d에서의 비율과 비슷한 수준일 때 얻어집니다.

  • 음수 값은 패싯 a에 대한 거짓 긍정과 거짓 부정의 비율이 패싯 d에서의 비율보다 작을 때 얻어집니다.
일반화 엔트로피(GE) 모델 예측을 통해 각 입력에 할당된 혜택 b에 있어서의 불평등을 측정합니다. 대출 신청 분류를 위한 두 가지 후보 모델 가운데 한 모델이 다른 모델보다 원하는 결과를 더 불균등하게 분배하고 있나요? 바이너리 및 멀티카테고리 레이블의 범위: (0, 0.5). 모델이 거짓 부정만 예측하는 경우 GE는 정의되지 않습니다.

  • 모든 예측이 정확하거나 모든 예측이 거짓 양성일 경우에는 값이 0이 됩니다.

  • 양수 값은 혜택의 불평등을 나타내며, 0.5는 최대치의 불평등에 해당합니다.

훈련 후 편향 지표에 대한 자세한 내용은 A Family of Fairness Measures for Machine Learning in Finance를 참조하세요.

주제