准确率差异 (AD) - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

准确率差异 (AD)

准确率差异 (AD) 指标是不同分面的预测准确率之间的差异。该指标确定模型对一个分面的分类是否比另一个分面更准确。AD 表示某一分面是否会产生更大比例的 I 型和 II 型错误。但它无法区分 I 型和 II 型错误。例如,模型对不同年龄人口的准确率可能相同,但对一个年龄组的错误可能主要是假阳性(I 型错误),而对另一年龄组的错误可能主要是假阴性(II 型错误)。

另外,如果对中年人口(分面 a)的贷款审批准确率远高于对另一年龄段人口(分面 d)的贷款审批准确率,那么要么第二组中更大比例的合格申请人被拒绝发放贷款 (FN),要么该组中更大比例的不合格申请人获得贷款 (FP),要么两者兼而有之。这可能导致第二组群体内部的不公平,即使两个年龄组发放的贷款比例几乎相同,这以接近零的DPPL值表示。

AD 指标的公式是分面 a 的预测精度减去分面 d 的预测精度之间的差值 ACCa,即:ACCd

        广告 = ACC a-ACC d

其中:

  • ACCa= (TP a + TNa)/(TP a + TN a + FP a + FNa)

    • TPa 是分面 a 的真阳性预测值

    • TNa 是分面 a 的真阴性预测值

    • FPa 是分面 a 的假阳性预测值

    • FNa 是分面 a 的假阴性预测值

  • ACCd= (TP d + TNd)/(TP d + TN d + FP d + FNd)

    • TPd 是分面 d 的真阳性预测值

    • TNd 是分面 d 的真阴性预测值

    • FPd 是分面 d 的假阳性预测值

    • FNd 是分面 d 的假阴性预测值

例如,假设一个模型向分面 a 的 100 名申请人中的 70 名批准发放贷款,而拒绝了另外 30 名申请人。10 名申请人不应该获得批准 (FPa),而 60 名申请人本应获得批准 (TPa)。被拒绝的申请人中有 20 人本应获得批准 (FNa),10 人被正确拒绝 (TNa)。分面 a 的准确率如下:

        ACCa= (60 + 10)/(60 + 10 + 20 + 10) = 0.7

接下来,假设一个模型向分面 d 的 100 名申请人中的 50 名批准发放贷款,而拒绝了另外 50 名申请人。10 名申请人不应该获得批准 (FPa),而 40 名申请人本应获得批准 (TPa)。被拒绝的申请人中有 40 人本应获得批准 (FNa),10 人被正确拒绝 (TNa)。分面 a 的准确率如下:

        ACCd= (40 + 10)/(40 + 10 + 40 + 10) = 0.5

因此,精度差异为 AD = ACC a-ACC d = 0.7-0.5 = 0.2。这表明存在不利于分面 d 的偏差,因为该指标为正值。

二进制和多类别分面标签的 AD 值范围为 [-1, +1]。

  • 当分面 a 的预测准确率高于分面 d 的预测准确率时,就会出现正值。这意味着分面 d 更容易受到假阳性(I 型错误)或假阴性(II 型错误)的某种组合的影响。这意味着存在不利于不利分面 d 的潜在偏差。

  • 当分面 a 的预测准确率与分面 d 的预测准确率相似时,就会出现接近零的值。

  • 当分面 d 的预测准确率高于分面 a 的预测准确率时,就会出现负值。这意味着分面 a 更容易受到假阳性(I 型错误)或假阴性(II 型错误)的某种组合的影响。这意味着存在不利于有利分面 a 的偏差。