Data Pasca-pelatihan dan Metrik Bias Model - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Data Pasca-pelatihan dan Metrik Bias Model

Amazon SageMaker Clarify menyediakan sebelas data pasca-pelatihan dan metrik bias model untuk membantu mengukur berbagai konsepsi keadilan. Konsep-konsep ini tidak dapat dipenuhi secara bersamaan dan seleksi tergantung pada spesifik kasus yang melibatkan bias potensial yang dianalisis. Sebagian besar metrik ini adalah kombinasi dari angka-angka yang diambil dari matriks kebingungan klasifikasi biner untuk kelompok demografis yang berbeda. Karena keadilan dan bias dapat didefinisikan oleh berbagai metrik, penilaian manusia diperlukan untuk memahami dan memilih metrik mana yang relevan dengan kasus penggunaan individu, dan pelanggan harus berkonsultasi dengan pemangku kepentingan yang tepat untuk menentukan ukuran keadilan yang tepat untuk aplikasi mereka.

Kami menggunakan notasi berikut untuk membahas metrik bias. Model konseptual yang dijelaskan di sini adalah untuk klasifikasi biner, di mana peristiwa diberi label hanya memiliki dua kemungkinan hasil dalam ruang sampelnya, disebut sebagai positif (dengan nilai 1) dan negatif (dengan nilai 0). Kerangka kerja ini biasanya dapat diperluas ke klasifikasi multikategori secara langsung atau untuk kasus-kasus yang melibatkan hasil bernilai berkelanjutan bila diperlukan. Dalam kasus klasifikasi biner, label positif dan negatif ditetapkan ke hasil yang dicatat dalam kumpulan data mentah untuk aspek yang disukai a dan untuk aspek yang tidak disukai d. Label y ini disebut sebagai label yang diamati untuk membedakannya dari label yang diprediksi y' yang ditetapkan oleh model pembelajaran mesin selama tahap pelatihan atau kesimpulan dari siklus hidup ML. Label ini digunakan untuk menentukan distribusi probabilitas P a (y) dan P d (y) untuk hasil faset masing-masing.

  • label:

    • y mewakili n label yang diamati untuk hasil peristiwa dalam kumpulan data pelatihan.

    • y' mewakili label yang diprediksi untuk n label yang diamati dalam kumpulan data oleh model terlatih.

  • hasil:

    • Hasil positif (dengan nilai 1) untuk sampel, seperti penerimaan aplikasi.

      • n (1) adalah jumlah label yang diamati untuk hasil positif (penerimaan).

      • n' (1) adalah jumlah label yang diprediksi untuk hasil positif (penerimaan).

    • Hasil negatif (dengan nilai 0) untuk sampel, seperti penolakan aplikasi.

      • n (0) adalah jumlah label yang diamati untuk hasil negatif (penolakan).

      • n' (0) adalah jumlah label yang diprediksi untuk hasil negatif (penolakan).

  • nilai faset:

    • facet a - Nilai fitur yang mendefinisikan demografis yang disukai bias.

      • n a adalah jumlah label yang diamati untuk nilai faset yang disukai: n a = n a (1) + n a (0) jumlah label yang diamati positif dan negatif untuk aspek nilai a.

      • n' a adalah jumlah label yang diprediksi untuk nilai faset yang disukai: n' a = n' a (1) + n' a (0) jumlah label hasil prediksi positif dan negatif untuk nilai faset a. Perhatikan bahwa n' a = na.

    • facet d — Nilai fitur yang mendefinisikan demografis yang bias tidak disukai.

      • n d adalah jumlah label yang diamati untuk nilai faset yang tidak disukai: n d = n d (1) + n d (0) jumlah label yang diamati positif dan negatif untuk nilai faset d.

      • n' d adalah jumlah label yang diprediksi untuk nilai faset yang tidak disukai: n' d = n' d (1) + n' d (0) jumlah label prediksi positif dan negatif untuk nilai faset d. Perhatikan bahwa n' d = nd.

  • distribusi probabilitas untuk hasil dari hasil data facet berlabel:

    • P a (y) adalah distribusi probabilitas dari label yang diamati untuk faset a. Untuk data berlabel biner, distribusi ini diberikan oleh rasio jumlah sampel dalam faset a berlabel dengan hasil positif terhadap jumlah total, P a (y 1) = n a (1)/na, dan rasio jumlah sampel dengan hasil negatif terhadap jumlah total, P a (y 0) = n a (0)/n. a

    • P d (y) adalah distribusi probabilitas dari label yang diamati untuk faset d. Untuk data berlabel biner, distribusi ini diberikan oleh jumlah sampel dalam segi d berlabel hasil positif terhadap jumlah total, P d (y 1) = n d (1)/nd, dan rasio jumlah sampel dengan hasil negatif terhadap jumlah total, P d (y 0) = n d (0)/n. d

Tabel berikut berisi lembar contekan untuk panduan cepat dan tautan ke metrik bias pasca-pelatihan.

Metrik bias pasca-pelatihan

Metrik bias pasca-pelatihan Deskripsi Contoh pertanyaan Menafsirkan nilai metrik
Perbedaan Proporsi Positif pada Label yang Diprediksi (DPPL) Mengukur perbedaan proporsi prediksi positif antara aspek yang disukai a dan aspek yang tidak disukai d.

Apakah ada ketidakseimbangan antar kelompok demografis dalam hasil positif yang diprediksi yang mungkin mengindikasikan bias?

Rentang untuk label aspek biner & multikategori yang dinormalisasi: [-1,+1]

Rentang untuk label kontinu: (-∞, +∞)

Interpretasi:

  • Nilai positif menunjukkan bahwa aspek yang disukai a memiliki proporsi hasil positif yang diprediksi lebih tinggi.

  • Nilai mendekati nol menunjukkan proporsi yang lebih sama dari hasil positif yang diprediksi antar aspek.

  • Nilai negatif menunjukkan aspek yang tidak disukai d memiliki proporsi hasil positif yang diprediksi lebih tinggi.
Dampak Berbeda (DI) Mengukur rasio proporsi label yang diprediksi untuk aspek yang disukai a dan aspek yang tidak disukai d. Apakah ada ketidakseimbangan antar kelompok demografis dalam hasil positif yang diprediksi yang mungkin mengindikasikan bias?

Rentang untuk biner dinormalisasi, aspek multikategori, dan label kontinu: [0, ∞)

Interpretasi:

  • Nilai kurang dari 1 menunjukkan aspek yang disukai a memiliki proporsi hasil positif yang diprediksi lebih tinggi.

  • Nilai 1 menunjukkan bahwa kita memiliki paritas demografis.

  • Nilai lebih besar dari 1 menunjukkan aspek yang tidak disukai d memiliki proporsi hasil positif yang diprediksi lebih tinggi.
Disparitas Demografis Bersyarat dalam Label yang Diprediksi () CDDPL Mengukur perbedaan label yang diprediksi antara aspek secara keseluruhan, tetapi juga oleh subkelompok. Apakah beberapa kelompok demografis memiliki proporsi penolakan yang lebih besar untuk hasil aplikasi pinjaman daripada proporsi penerimaan mereka?

Rentang CDDPL nilai untuk hasil biner, multikategori, dan berkelanjutan: [-1, +1]

  • Nilai positif menunjukkan hasil di mana segi d ditolak lebih dari yang diterima.

  • Mendekati nol menunjukkan tidak ada perbedaan demografis rata-rata.

  • Nilai negatif menunjukkan hasil di mana aspek a ditolak lebih dari yang diterima.
Fliptest Kontrafaktual (FT) Memeriksa setiap anggota faset d dan menilai apakah anggota yang serupa dari segi a memiliki prediksi model yang berbeda. Apakah satu kelompok demografi usia tertentu cocok dengan semua fitur dengan kelompok usia yang berbeda, namun dibayar lebih rata-rata? Rentang untuk label facet biner dan multikategori adalah. [-1, +1]

  • Nilai positif terjadi ketika jumlah keputusan terlentang kontrafaktual yang tidak menguntungkan untuk aspek yang tidak disukai d melebihi yang menguntungkan.

  • Nilai mendekati nol terjadi ketika jumlah keputusan fliptest kontrafaktual yang tidak menguntungkan dan menguntungkan seimbang.

  • Nilai negatif terjadi ketika jumlah keputusan terlentang kontrafaktual yang tidak menguntungkan untuk aspek yang tidak disukai d kurang dari yang menguntungkan.
Perbedaan Akurasi (AD) Mengukur perbedaan antara akurasi prediksi untuk aspek yang disukai dan yang tidak disukai. Apakah model memprediksi label secara akurat untuk aplikasi di semua kelompok demografis? Rentang untuk label facet biner dan multikategori adalah. [-1, +1]

  • Nilai positif menunjukkan bahwa faset d lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). Ini berarti ada bias potensial terhadap aspek yang tidak disukai d.

  • Nilai mendekati nol terjadi ketika akurasi prediksi untuk faset a mirip dengan faset d.

  • Nilai negatif menunjukkan bahwa facet a lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). Ini berarti bias terhadap aspek yang disukai a.
Ingat Perbedaan (RD) Membandingkan penarikan kembali model untuk aspek yang disukai dan tidak disukai. Apakah ada bias berbasis usia dalam pinjaman karena model yang memiliki daya ingat yang lebih tinggi untuk satu kelompok usia dibandingkan dengan yang lain?

Rentang untuk klasifikasi biner dan multikategori:. [-1, +1]

  • Nilai positif menunjukkan bahwa model menemukan lebih banyak positif sejati untuk segi a dan bias terhadap aspek yang tidak disukai d.

  • Nilai mendekati nol menunjukkan bahwa model menemukan jumlah positif sejati yang sama di kedua aspek dan tidak bias.

  • Nilai negatif menunjukkan bahwa model menemukan lebih banyak positif sejati untuk segi d dan bias terhadap aspek yang disukai a.
Perbedaan Penerimaan Bersyarat () DCAcc Membandingkan label yang diamati dengan label yang diprediksi oleh model. Menilai apakah ini sama di seluruh aspek untuk hasil positif yang diprediksi (penerimaan). Ketika membandingkan satu kelompok usia dengan yang lain, apakah pinjaman diterima lebih sering, atau lebih jarang dari yang diperkirakan (berdasarkan kualifikasi)?

Rentang untuk biner, aspek multikategori, dan label kontinu: (-∞, +∞).

  • Nilai positif menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari aspek yang tidak disukai d.

  • Nilai mendekati nol menunjukkan bahwa pelamar yang memenuhi syarat dari kedua aspek diterima dengan cara yang sama.

  • Nilai negatif menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari aspek yang disukai a.
Perbedaan Tingkat Penerimaan (DAR) Mengukur perbedaan rasio hasil positif yang diamati (TP) dengan positif yang diprediksi (TP + FP) antara aspek yang disukai dan yang tidak disukai. Apakah model memiliki presisi yang sama ketika memprediksi penerimaan pinjaman untuk pelamar yang memenuhi syarat di semua kelompok umur? Rentang untuk biner, aspek multikategori, dan label kontinu adalah. [-1, +1]

  • Nilai positif menunjukkan kemungkinan bias terhadap segi d yang disebabkan oleh terjadinya positif palsu yang relatif lebih banyak pada aspek yang tidak disukai d.

  • Nilai mendekati nol menunjukkan label yang diamati untuk hasil positif (penerimaan) diprediksi dengan presisi yang sama untuk kedua aspek oleh model.

  • Nilai negatif menunjukkan kemungkinan bias terhadap faset a yang disebabkan oleh terjadinya positif yang relatif lebih palsu dalam aspek yang disukai a.
Perbedaan spesifisitas (SD) Membandingkan kekhususan model antara aspek yang disukai dan yang tidak disukai. Apakah ada bias berbasis usia dalam pinjaman karena model memprediksi spesifisitas yang lebih tinggi untuk satu kelompok umur dibandingkan dengan yang lain?

Rentang untuk klasifikasi biner dan multikategori:. [-1, +1]

  • Nilai positif menunjukkan bahwa model menemukan lebih sedikit positif palsu untuk segi d dan bias terhadap aspek yang tidak disukai d.

  • Nilai mendekati nol menunjukkan bahwa model menemukan jumlah positif palsu yang sama di kedua sisi dan tidak bias.

  • Nilai negatif menunjukkan bahwa model menemukan lebih sedikit positif palsu untuk aspek a dan bias terhadap aspek yang disukai a.
Perbedaan Penolakan Bersyarat () DCR Membandingkan label yang diamati dengan label yang diprediksi oleh model dan menilai apakah ini sama di seluruh aspek untuk hasil negatif (penolakan). Apakah ada lebih banyak atau lebih sedikit penolakan untuk aplikasi pinjaman daripada yang diperkirakan untuk satu kelompok umur dibandingkan dengan yang lain berdasarkan kualifikasi? Rentang untuk biner, aspek multikategori, dan label kontinu: (-∞, +∞).

  • Nilai positif menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari aspek yang tidak disukai d.

  • Nilai mendekati nol menunjukkan bahwa pelamar yang memenuhi syarat dari kedua aspek ditolak dengan cara yang sama.

  • Nilai negatif menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari aspek yang disukai a.
Perbedaan Tingkat Penolakan (DRR) Mengukur perbedaan rasio hasil negatif yang diamati (TN) dengan negatif yang diprediksi (TN+FN) antara aspek yang tidak disukai dan disukai. Apakah model memiliki presisi yang sama ketika memprediksi penolakan pinjaman untuk pelamar yang tidak memenuhi syarat di semua kelompok umur? Rentang untuk biner, aspek multikategori, dan label kontinu adalah. [-1, +1]

  • Nilai positif menunjukkan kemungkinan bias yang disebabkan oleh terjadinya negatif yang relatif lebih salah dalam aspek yang disukai a.

  • Nilai mendekati nol menunjukkan bahwa hasil negatif (penolakan) diprediksi dengan presisi yang sama untuk kedua sisi.

  • Nilai negatif menunjukkan kemungkinan bias yang disebabkan oleh terjadinya negatif yang relatif lebih salah dalam aspek yang tidak disukai d.
Kesetaraan Perawatan (TE) Mengukur perbedaan rasio positif palsu dengan negatif palsu antara aspek yang disukai dan yang tidak disukai. Dalam aplikasi pinjaman, apakah rasio relatif positif palsu terhadap negatif palsu sama di semua demografi usia? Rentang untuk label faset biner dan multikategori: (-∞, +∞).

  • Nilai positif terjadi ketika rasio positif palsu terhadap negatif palsu untuk faset a lebih besar daripada untuk faset d.

  • Nilai mendekati nol terjadi ketika rasio positif palsu terhadap negatif palsu untuk faset a mirip dengan rasio untuk faset d.

  • Nilai negatif terjadi ketika rasio positif palsu terhadap negatif palsu untuk faset a kurang dari untuk faset d.

Entropi umum (GE) Mengukur ketidaksetaraan manfaat yang b diberikan untuk setiap input oleh prediksi model. Dari dua model kandidat untuk klasifikasi aplikasi pinjaman, apakah yang satu mengarah pada distribusi hasil yang diinginkan yang lebih tidak merata daripada yang lain? Rentang untuk label biner dan multikategori: (0, 0,5). GE tidak terdefinisi ketika model hanya memprediksi negatif palsu.

  • Nilai nol terjadi ketika semua prediksi benar atau semua prediksi positif palsu.

  • Nilai positif menunjukkan ketidaksetaraan dalam manfaat; 0,5 sesuai dengan ketidaksetaraan terbesar.

Untuk informasi tambahan tentang metrik bias pasca-pelatihan, lihat A Family of Fairness Measures for Machine Learning in Finance.

Topik