条件付き拒否の差 (DCR)

このメトリクスは、観測ラベルとモデルによって予測されたラベルを比較し、負の結果 (拒否) のファセット全体でこれが同じかどうかを評価します。このメトリクスは、特定のファセットに対してモデルから得られた負の結果 (予測ラベル y') が、トレーニングデータセットのラベルで提案された結果 (観測ラベル y) と比較してどれだけ多いかを定量化するという点で、人間のバイアスを模倣することに近づいています。例えば、中高年グループ (ファセット a) のローン申請に対して、他の年齢グループを含むファセット (ファセット d) と比較して、資格に基づくモデルで予測されるよりも多くの拒否 (負の結果) があった場合、これは他のグループよりも中高年層に有利な、ローンの拒否方法における潜在的なバイアスがあることを示している可能性があります。

条件付き承認の差の計算式は次のとおりです。

        DCR = r_d - r_a

コードの説明は以下のとおりです。

DCR メトリクスは、資格に基づく優先処理を明らかにする、正と負の両方のバイアスを捉えることができます。次のような、ローンの拒否に関する年齢ベースのバイアスの例を考えてみましょう。

例 1: 正のバイアス

ローンを申請した 100 人の中高年の人たち (ファセット a) と 50 人の他の年齢グループの人たち (ファセット d) からなるデータセットがあり、モデルはファセット a から 60 人、ファセット d から 30 人がローンを拒否することを推奨したとします。つまり、予測された比率には DPPL メトリクスによるバイアスはありません。しかし、観測ラベルは、ファセット a から 50 人、ファセット d から 40 人が拒否されたことを示しています。言い換えれば、このモデルは、トレーニングデータの観測ラベルが示唆するよりも中高年グループのファセットから 17% 多くローンを拒否し (50/60 = 0.83)、他の年齢グループからは、観測ラベルが示唆するよりも 33% 少なくローンを拒否したことになります (40/30 = 1.33)。DCR 値は、ファセット間の観測された拒否率と予測された拒否率の比率におけるこの差を定量化します。正の値は、観測されたデータ (バイアスがないとみなされる) が示すよりも他のグループと比べて拒否率が低い中高年グループに有利なバイアスが存在する可能性があることを示しています。

        DCR = 40/30 - 50/60 = 1/2

例 2: 負のバイアス

ローンを申請した 100 人の中高年の人たち (ファセット a) と 50 人の他の年齢グループの人たち (ファセット d) からなるデータセットがあり、モデルはファセット a から 60 人、ファセット d から 30 人がローンを拒否することを推奨したとします。つまり、予測された比率には DPPL メトリクスによるバイアスはありません。しかし、観測ラベルは、ファセット a から 70 人、ファセット d から 20 人が拒否されたことを示しています。言い換えれば、このモデルは、トレーニングデータで観測されたラベルが示唆するよりも中高年グループのファセットから 17% 少なくローンを拒否し (70/60 = 1.17)、他の年齢グループからは、観測ラベルが示唆するよりも 33% 多くローンを拒否したことになります (20/30 = 0.67)。負の値は、中年のファセット a と比較してファセット a に有利なバイアスが存在する可能性があり、観測されたデータ (バイアスがないとみなされる) が示すよりも拒否率が低いことを示しています。

        DCR = 20/30 - 70/60 = -1/2

バイナリ、マルチカテゴリファセット、連続ラベルの条件付き拒否の差の値の範囲は、(-∞, +∞) です。