有条件拒绝的区别 (DCR) - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

有条件拒绝的区别 (DCR)

该指标将观测标签与模型预测标签进行比较，并评估各分面的阴性结果（拒绝）是否相同。该指标接近于模仿人类的偏差，因为它量化了与训练数据集中标签建议值（观测标签 y）相比，模型对某个分面赋予的阴性结果（预测标签 y'）多了多少。例如，如果与包含其他年龄组的分面（分面 d）相比，观测的中年组（分面 a）贷款申请被拒绝（阴性结果）的次数多于模型基于资格条件预测的值，则可能表明在拒绝贷款的方式上存在潜在偏差，中年组比其他组更有利。

有条件接受差异的公式：

        DCR= r d-r a

其中：

  • rd = nd(0)/ n'd(0) 是分面 d 中值为 0 的观测阴性结果（拒绝）数与分面 d 的预测阴性结果（拒绝）数之比。

  • ra = na(0)/ n'a(0) 是分面 a 中值为 0 的观测阴性结果（拒绝）数与分面 a 的预测阴性结果（拒绝）数之比。

该DCR指标可以捕捉正面和负面的偏见，这些偏见揭示了基于资格的优惠待遇。请考虑以下在贷款拒绝方面存在基于年龄的偏差的示例。

示例 1：正偏差

假设我们的数据集有 100 名中年人（分面 a）和 50 名来自其他年龄组的人（分面 d）申请贷款，其中模型建议拒绝向分面 a 中的 60 人和分面 d 中的 30 人发放贷款。因此，预测的比例不会因DPPL指标而产生偏差，但是观察到的标签显示，来自分面 a 的 50 个和来自分面 d 的 40 个被拒绝。换句话说，该模型拒绝向中年组分面发放贷款的人数比训练数据中建议的观测标签多 17% (50/60 = 0.83)，拒绝向其他年龄组发放贷款的人数比建议的观测标签少 33% (40/30 = 1.33)。该DCR值量化了各方面之间观测到的拒绝率与预测的拒绝率之比的差异。正值表示存在有利于中年组的潜在偏差，与其他组相比，拒绝率低于观测数据（视为无偏差）所指示的值。

        DCR= 40/30-50/60 = 1/2

示例 2：负偏差

假设我们的数据集有 100 名中年人（分面 a）和 50 名来自其他年龄组的人（分面 d）申请贷款，其中模型建议拒绝向分面 a 中的 60 人和分面 d 中的 30 人发放贷款。因此，预测的比例不会因DPPL指标而产生偏差，但是观察到的标签显示，来自分面 a 的 70 个和来自分面 d 的 20 个被拒绝。换句话说，该模型拒绝向中年组分面发放贷款的人数比训练数据中建议的观测标签少 17% (70/60 = 1.17)，拒绝向其他年龄组发放贷款的人数比建议的观测标签多 33% (20/30 = 0.67)。负值表示存在有利于分面 a 的潜在偏差，与中年组分面 d 相比，拒绝率低于观测数据（视为无偏差）所指示的值。

        DCR= 20/30-70/60 = -1/2

二进制、多类别分面和连续标签的有条件拒绝差异的值范围为 (-∞, +∞)。

  • 当分面 d 的观测拒绝次数与预测拒绝次数之比高于分面 a 的这一比率时，就会出现正值。这些值表示可能存在不利于分面 a 中合格申请人的偏差。DCR指标的值越大，明显的偏差就越极端。

  • 当分面 a 的观测拒绝次数与预测拒绝次数之比类似于分面 d 的这一比率时，就会出现接近零的值。这些值表示预测的拒绝率与标签数据中的观测值一致，并且两个分面的合格申请人被拒绝的情况相似。

  • 当分面 d 的观测拒绝次数与预测拒绝次数之比低于分面 a 的这一比率时，就会出现负值。这些值表示可能存在不利于分面 d 中合格申请人的偏差。负DCR指标的幅度越大，明显的偏差就越极端。