조건부 승인의 차이(DCAcc)

이 지표는 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 긍정적인 예측 결과에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. 이 지표는 특정 패싯에서 모델이 예측한 긍정적 결과(레이블 y')가 훈련 데이터세트에서 관찰된 것(레이블 y)과 비교하여 얼마나 더 많은지 정량화한다는 면에서 인간의 편견을 어느 정도 모방한다고 할 수 있습니다. 예를 들어, 중년층의 대출 신청에 대한 훈련 데이터세트(패싯 a)에서 다른 연령대를 포함하는 패싯(패싯 d)과 비교 시 자격 취득에 기반한 모델의 예측치보다 더 많은 승인 건수(긍정적 결과)가 관찰되고 있는 경우, 이는 대출 승인 방식에 있어 중년층에 유리한 편향의 존재를 시사할 수 있습니다.

조건부 승인의 차이를 구하는 공식:

        DCAcc = c_a - c_d

위치:

DCAcc 지표는 자격 취득 기준으로 특혜 대우를 나타내는 긍정적 편향과 부정적 편향을 모두 포착할 수 있습니다. 대출 승인에 있어 연령에 따른 편향이 나타나는 다음과 같은 사례를 살펴보겠습니다.

예제 1: 긍정 편향

대출을 신청한 중년 인구 100명(패싯 a)과 50명의 다른 연령대(패싯 d)로 구성된 데이터세트가 있다고 가정해 보겠습니다.이 모델이 패싯 a에서 60명, 패싯 d에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 a에서는 70명이, 패싯 d에서는 20명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(70/60 = 1.17), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(20/30 = 0.67). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.

        DCAcc = 70/60 - 20/30 = 1/2

양수 값은 다른 패싯 d와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 중년층 패싯 a에 대해서 잠재적 편향이 존재함을 나타냅니다.

예제 2: 부정 편향

대출을 신청한 중년 인구 100명(패싯 a)과 50명의 다른 연령대(패싯 d)로 구성된 데이터세트가 있다고 가정해 보겠습니다.이 모델이 패싯 a에서 60명, 패싯 d에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 a에서는 50명이, 패싯 d에서는 40명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(50/60 = 0.83), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(40/30 = 1.33). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.

        DCAcc = 50/60 - 40/30 = -1/2

음수 값은 중년층 패싯 a와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 패싯 d에 대해서 잠재적 편향이 존재함을 나타냅니다.

참고로 DCAcc를 사용하면 휴먼 인 더 루프 환경에서 사람이 모델 예측을 감독함으로써 발생할 수 있는 (의도하지 않은) 편향을 찾아낼 수 있습니다. 예를 들어, 모델에 의한 예측 y'는 편향되지 않았지만 최종 결정은 y'의 새로운 최종 버전을 생성하기 위해 모델 예측을 변경할 권한이 있는 사람 (아마도 추가 기능에 접근할 수 있는 사람)이 내린다고 가정해 봅시다. 인간에 의한 추가적인 처리로 인해 의도치 않게 한 패싯에서 과도한 수의 대출 거부가 발생하게 될 수 있습니다. DCAcc는 이러한 잠재적 편향을 찾아내는 데 도움을 줍니다.

바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 조건부 승인 건수 차이의 값 범위는 (-∞, +∞)입니다.