拒絕率的差異 (DRR) - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

拒絕率的差異 (DRR)

拒絕率 (DRR) 指標的差異是對構面 ad 觀察的負數 (TN + FN) 預測的真負數 (TN) 比率差異。此指標會測量模型精確度的差異,以預測這兩個構面的拒絕情況。精確度會測量由模型定義的不合格申請人池,其中的不合格申請人分數。如果用於預測不同方面之間不合格申請人的模型精確度存在差異,則這是偏差,其大小由 測量DRR。

構面 ad 間的拒絕率差異公式:

        DRR = TN d/(TNd + FN d) - TN a/(TNa + FN a

上一個DRR方程式的元件如下所示。

  • TNd 是構面 d 預測的真陰性。

  • FNd 是構面 d 預測的偽陰性。

  • TNa 是構面 a 預測的真陰性。

  • FNa 是構面 a 預測的偽陰性。

例如,假設該模型拒絕 100 名中年申請人 (構面 a) 的貸款申請 (預測負值標籤),其中只有 80 人實際不符合資格 (觀察負值標籤)。還假設該模型拒絕 50 申請人來自其他年齡的人口統計學 (構面 d) 貸款 (預測負值標籤),其中只有 40 實際上是不合格的 (觀察負值標籤)。然後 DRR = 40/50 - 80/100 = 0,因此不會顯示偏差。

DRR 二進位、多類別構面和連續標籤的值範圍為 【-1, +1】。

  • 當構面 d 的預測負值(拒絕)與觀察負值結果 (不合格申請人) 的比率大於構面 a 的相同比率時,會出現正值。這些值顯示由於在構面 a 中發生相對較多偽陰性,導致對有利構面 a 可能產生偏差。比率的差異越大,明顯的偏差越極端。

  • 當構面s ad 的預測負值(拒絕)與觀察負值結果 (不合格申請人) 的比率具有類似的值時,會出現接近零的值,這表示模型會以相等的精確度預測負值結果的觀察標籤。

  • 當預測的負值 (拒絕) 與觀察負值結果的比率 (不合格的申請人) 為構面 a 大於比面 d 大時,會發生負值。這些值顯示由於在構面 d 中發生相對較多偽陽性所,導致對不利構面 d 可能產生偏差。比率的差異值越負,明顯的偏差就越極端。