Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Perbedaan Penerimaan Bersyarat () DCAcc
Metrik ini membandingkan label yang diamati dengan label yang diprediksi oleh model dan menilai apakah ini sama di seluruh aspek untuk hasil positif yang diprediksi. Metrik ini hampir meniru bias manusia karena mengukur berapa banyak lagi hasil positif yang diprediksi model (label y') untuk aspek tertentu dibandingkan dengan apa yang diamati dalam kumpulan data pelatihan (label y). Misalnya, jika ada lebih banyak penerimaan (hasil positif) yang diamati dalam kumpulan data pelatihan untuk aplikasi pinjaman untuk kelompok paruh baya (aspek a) daripada yang diprediksi oleh model berdasarkan kualifikasi dibandingkan dengan aspek yang mengandung kelompok usia lain (aspek d), ini mungkin menunjukkan potensi bias dalam cara pinjaman disetujui mendukung kelompok paruh baya.
Rumus untuk perbedaan penerimaan bersyarat:
DCAcc= c a - c d
Di mana:
-
c a = n a (1)/n' a (1) adalah rasio jumlah hasil positif yang diamati dari nilai 1 (penerimaan) dari segi a terhadap jumlah hasil positif yang diprediksi (akseptansi) untuk segi a.
-
c d = n d (1)/n' d (1) adalah rasio jumlah hasil positif yang diamati dari nilai 1 (akseptansi) dari segi d dengan jumlah prediksi hasil positif yang diprediksi (penerimaan) untuk segi d.
DCAccMetrik dapat menangkap bias positif dan negatif yang mengungkapkan perlakuan preferensial berdasarkan kualifikasi. Pertimbangkan contoh bias berbasis usia berikut pada penerimaan pinjaman.
Contoh 1: Bias positif
Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi a) dan 50 orang dari kelompok usia lain (segi d) yang mengajukan pinjaman, di mana model merekomendasikan agar 60 dari segi a dan 30 dari segi d diberikan pinjaman. Jadi proporsi yang diprediksi tidak bias sehubungan dengan DPPL metrik, tetapi label yang diamati menunjukkan bahwa 70 dari segi a dan 20 dari segi d diberikan pinjaman. Dengan kata lain, model memberikan pinjaman hingga 17% lebih sedikit dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (70/60 = 1,17) dan memberikan pinjaman kepada 33% lebih banyak dari kelompok usia lain daripada label yang diamati disarankan (20/30 = 0,67). Perhitungan DCAcc nilai memberikan yang berikut:
DCAcc= 70/60 - 20/30 = 1/2
Nilai positif menunjukkan bahwa ada bias potensial terhadap aspek paruh baya a dengan tingkat penerimaan yang lebih rendah dibandingkan dengan aspek lain d daripada yang ditunjukkan oleh data yang diamati (dianggap tidak bias).
Contoh 2: Bias negatif
Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi a) dan 50 orang dari kelompok usia lain (segi d) yang mengajukan pinjaman, di mana model merekomendasikan agar 60 dari segi a dan 30 dari segi d diberikan pinjaman. Jadi proporsi yang diprediksi tidak bias sehubungan dengan DPPL metrik, tetapi label yang diamati menunjukkan bahwa 50 dari segi a dan 40 dari segi d diberikan pinjaman. Dengan kata lain, model memberikan pinjaman hingga 17% lebih sedikit dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (50/60 = 0,83), dan memberikan pinjaman kepada 33% lebih banyak dari kelompok usia lain daripada label yang diamati disarankan (40/30 = 1,33). Perhitungan DCAcc nilai memberikan yang berikut:
DCAcc= 50/60 - 40/30 = -1/2
Nilai negatif menunjukkan bahwa ada bias potensial terhadap segi d dengan tingkat penerimaan yang lebih rendah dibandingkan dengan aspek paruh baya a daripada yang ditunjukkan oleh data yang diamati (dianggap tidak bias).
Perhatikan bahwa Anda dapat menggunakan DCAcc untuk membantu Anda mendeteksi potensi bias (tidak disengaja) oleh manusia yang mengawasi prediksi model dalam suatu pengaturan. human-in-the-loop Asumsikan, misalnya, bahwa prediksi y' oleh model tidak bias, tetapi keputusan akhirnya dibuat oleh manusia (mungkin dengan akses ke fitur tambahan) yang dapat mengubah prediksi model untuk menghasilkan versi baru dan final dari y'. Pemrosesan tambahan oleh manusia mungkin secara tidak sengaja menolak pinjaman ke nomor yang tidak proporsional dari satu sisi. DCAccdapat membantu mendeteksi potensi bias tersebut.
Kisaran nilai untuk perbedaan penerimaan bersyarat untuk biner, aspek multikategori, dan label kontinu adalah (-∞, +∞).
-
Nilai positif terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset a lebih tinggi dari rasio yang sama untuk segi d. Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi a. Semakin besar perbedaan rasio, semakin ekstrim bias yang tampak.
-
Nilai mendekati nol terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset a mirip dengan rasio untuk segi d. Nilai-nilai ini menunjukkan bahwa tingkat penerimaan yang diprediksi konsisten dengan nilai yang diamati dalam data berlabel dan bahwa pelamar yang memenuhi syarat dari kedua aspek diterima dengan cara yang sama.
-
Nilai negatif terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset a kurang dari rasio untuk segi d. Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi d. Semakin negatif perbedaan rasio, semakin ekstrem bias yang tampak.
