Perbedaan Tingkat Penolakan (DRR) - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perbedaan Tingkat Penolakan (DRR)

Perbedaan metrik tingkat penolakan (DRR) adalah perbedaan rasio prediksi negatif sejati (TN) terhadap negatif yang diamati (TN+FN) untuk aspek a dan d. Metrik ini mengukur perbedaan presisi model untuk memprediksi penolakan dari kedua aspek ini. Presisi mengukur fraksi kandidat yang tidak memenuhi syarat dari kumpulan kandidat yang tidak memenuhi syarat yang diidentifikasi seperti itu oleh model. Jika presisi model untuk memprediksi pelamar yang tidak memenuhi syarat berbeda antar aspek, ini adalah bias dan besarnya diukur dengan. DRR

Rumus untuk perbedaan tingkat penolakan antara segi a dan d:

        DRR= TNd/(dTN+FNd) - TNa/(TN+FN) a a

Komponen untuk DRR persamaan sebelumnya adalah sebagai berikut.

  • TN d adalah negatif sebenarnya yang diprediksi untuk segi d.

  • FN d adalah negatif palsu yang diprediksi untuk segi d.

  • TP a adalah negatif sebenarnya yang diprediksi untuk aspek a.

  • FN a adalah negatif palsu yang diprediksi untuk segi a.

Misalnya, model menolak 100 pelamar paruh baya (aspek a) untuk pinjaman (label negatif yang diprediksi) di antaranya 80 sebenarnya tidak memenuhi syarat (label negatif yang diamati). Juga misalkan model menolak 50 pelamar dari demografi usia lain (segi d) untuk pinjaman (label negatif yang diprediksi) di antaranya hanya 40 yang benar-benar tidak memenuhi syarat (label negatif yang diamati). Kemudian DRR = 40/50 - 80/100 = 0, jadi tidak ada bias yang ditunjukkan.

Rentang nilai DRR untuk biner, aspek multikategori, dan label kontinu adalah [-1, +1].

  • Nilai positif terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek d lebih besar dari rasio yang sama untuk aspek a. Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang disukai a yang disebabkan oleh terjadinya negatif yang relatif lebih salah dalam aspek a. Semakin besar perbedaan rasio, semakin ekstrim bias yang tampak.

  • Nilai mendekati nol terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek a dan d memiliki nilai yang sama, menunjukkan label yang diamati untuk hasil negatif diprediksi dengan presisi yang sama oleh model.

  • Nilai negatif terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek a lebih besar dari aspek rasio d. Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang tidak disukai d yang disebabkan oleh terjadinya positif palsu yang relatif lebih banyak di segi d. Semakin negatif perbedaan rasio, semakin ekstrem bias yang tampak.