條件接受的差異 (DCAcc) - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

條件接受的差異 (DCAcc)

此指標將比較觀察標籤與模型預測標籤,並評估各個構面獲得預測正值結果是否相同。此指標接近模仿人類偏差,因為與訓練資料集中的標籤 (標籤 y) 相比,它量化模型在某個構面的正面結果 (標籤 y') 了多少。例如,如果與包含其他年齡組 (構面 d) 相比,在中年組 (構面 a) 的貸款申請訓練資料集中觀察接受次數 (正值結果),比不同資格的模型預測要多。這可能表示貸款核准方式存在有利於中年族群的潛在偏差。

條件式接受差異的公式:

        DCAcc = ca - cd

其中:

  • ca = na(1)/ n'a(1) 是構面 a 的值 1 (接受) 的觀察正值結果數目,與構面 a 的預測的正結果 (接受) 數目比率。

  • cd = nd(1)/ n'd(1) 是構面 d 值 1 (接受) 觀察正值結果數目,與構面 d 的預測正結果 (接受) 的預測數目比率。

DCAcc 指標可以擷取正面和負面偏差,根據資格顯示優惠待遇。考慮以下不同年齡的貸款接受偏差情況。

範例 1:正偏差

假設我們的資料集有 100 個中年人 (構面 a) 和來自其他年齡組的 50 人 (構面 d) 申請貸款,其中模型建議構面 a 有 60 和構面 d 有 30 給予貸款。因此,預測的比例相對於DPPL指標是無偏差的,但觀察到的標籤顯示,從構面 a 中 70 個,從構面 d 中 20 個獲得貸款。換句話說,比訓練資料建議的 (70/60 = 1.17) 觀察標籤,模型允許中年構面多 17% 的貸款,並且比觀察標籤建議的 (20/30 = 0.67),允許其他年齡組多 33% 的貸款。DCAcc 值的計算提供下列項目:

        DCAcc = 70/60 - 20/30 = 1/2

正值表示對中年構面 a 有潛在偏差,與其他構面 d 相比,接受率低於觀察資料 (視為無偏差)。

範例 2:負偏差

假設我們的資料集有 100 個中年人 (構面 a) 和來自其他年齡組的 50 人 (構面 d) 申請貸款,其中模型建議構面 a 有 60 和構面 d 有 30 給予貸款。因此,預測的比例在DPPL指標方面是無偏差的,但觀察到的標籤顯示,50 個來自構面 a,40 個來自構面 d。換句話說,比訓練資料建議的 (50/60 = 0.83) 觀察標籤,模型允許中年構面多 17% 的貸款,並且比觀察標籤建議的 (40/30 = 1.33),允許其他年齡組多 33% 的貸款。DCAcc 值的計算提供下列項目:

        DCAcc = 50/60 - 40/30 = -1/2

負值顯示與中年構面 a 相比,觀察資料 (視為無偏差) 顯示構面 d 具有較低接受率的潛在偏差。

請注意,您可以使用 DCAcc 來協助您在 設定中 human-in-the-loop監督模型預測的人,偵測潛在的 (非蓄意) 偏差。例如,假設模型的預測 y' 是無偏差,但最終決定是由一個人 (可能使用其他功能) 做出的,他們可以改變模型預測以生成 y' 的新版本和最終版本。人類的額外處理可能會無意中拒絕一個構面不成比例數字的貸款。DCAcc 有助於偵測這類潛在偏差。

二進位、多類別構面和連續性標籤的條件式接受差異值範圍是 (-∞, +∞)。

  • 當與構面 a 的預測接受次數相比,觀察接受次數比率高於構面 d 的相同比率時,會出現正值。這些值顯示對構面 a 的合格申請人可能存在偏差。比率的差異越大,偏差越明顯越極端。

  • 當構面 a 的預測接受數目與構面 d 的預測接受數目相似時,會出現接近零的值。這些值顯示預測的接受率與標籤資料中的觀察值一致,並且兩個構面的合格申請人都以類似的方式被接受。

  • 當觀察接受次數與構面 a 的預測接受次數小於構面 d 的比率時,會出現負值。這些值顯示對構面 d 的合格申請人可能存在偏差。比率的差異值越負,明顯的偏差就越極端。