반사실적 플립테스트(FT)
플립테스트는 패싯 d의 각 멤버를 살펴보고 패싯 a의 유사한 멤버들이 서로 다른 모델 예측을 갖는지 여부를 평가하는 접근 방식입니다. 패싯 a의 멤버들은 패싯 d에서 얻은 관측치의 k-최근접 이웃으로 선택됩니다. 반대 그룹에서 서로 다른 예측값을 받는 최근접 이웃이 얼마나 되는지 평가합니다.이때 뒤집힌 예측값은 양수에서 음수로 바뀔 수 있으며, 그 반대의 경우도 가능합니다.
반사실적 플립테스트의 공식은 두 집합의 카디널리티 차이를 패싯 d의 멤버 수로 나눈 값입니다.
FT = (F+ - F-)/nd
위치:
-
F + =는 유리한 패싯 a의 가장 가까운 이웃이 유리한 결과를 얻은 불리한 결과를 가진 불리한 파셋 d 멤버의 수입니다.
-
F- =는 유리한 파셋 a의 가장 가까운 이웃이 불리한 결과를 얻은 유리한 결과를 가진 불리한 파셋 d 멤버의 수입니다.
-
nd은 파셋 d의 샘플 크기입니다.
바이너리 및 다중 카테고리 패싯 레이블의 반사실적 플립테스트 값 범위는 [-1, +1] 입니다. 연속형 레이블의 경우 레이블을 이진수로 축소하도록 임계값을 설정합니다.
-
양수 값은 불리한 패싯 d에 대한 불리한 반사실적 플립테스트 결정의 수가 유리한 결정의 수를 초과할 때 발생합니다.
-
불리한 반사실적 플립테스트 결정 수와 유리한 반사실적 결정의 수가 균형을 이룰 때 값이 0에 가까워집니다.
-
음수 값은 불리한 패싯 d에 대한 불리한 반사실적 플립테스트 결정 수가 유리한 결정보다 적을 때 발생합니다.
