Metrik kinerja model - Amazon Fraud Detector

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik kinerja model

Setelah pelatihan model selesai, Amazon Fraud Detector memvalidasi kinerja model menggunakan 15% data Anda yang tidak digunakan untuk melatih model. Anda dapat mengharapkan model Amazon Fraud Detector terlatih Anda memiliki kinerja deteksi penipuan dunia nyata yang mirip dengan metrik kinerja validasi.

Sebagai bisnis, Anda harus menyeimbangkan antara mendeteksi lebih banyak penipuan, dan menambahkan lebih banyak gesekan ke pelanggan yang sah. Untuk membantu memilih keseimbangan yang tepat, Amazon Fraud Detector menyediakan alat berikut untuk menilai kinerja model:

  • Bagan distribusi skor — Histogram distribusi skor model mengasumsikan contoh populasi 100.000 peristiwa. Sumbu Y kiri mewakili peristiwa yang sah dan sumbu Y kanan mewakili peristiwa penipuan. Anda dapat memilih ambang model tertentu dengan mengklik area bagan. Ini akan memperbarui tampilan yang sesuai dalam matriks kebingungan dan bagan ROC.

  • Matriks kebingungan — Merangkum akurasi model untuk ambang skor tertentu dengan membandingkan prediksi model versus hasil aktual. Amazon Fraud Detector mengasumsikan contoh populasi 100.000 peristiwa. Distribusi penipuan dan peristiwa yang sah mensimulasikan tingkat penipuan dalam bisnis Anda.

    • Positif sejati — Model memprediksi penipuan dan acara tersebut sebenarnya penipuan.

    • Positif palsu — Model memprediksi penipuan tetapi acara tersebut sebenarnya sah.

    • Negatif sejati — Model memprediksi sah dan acara tersebut sebenarnya sah.

    • Negatif palsu — Model memprediksi sah tetapi acara tersebut sebenarnya penipuan.

    • True positive rate (TPR) — Persentase total penipuan yang dideteksi model. Juga dikenal sebagai capture rate.

    • Tingkat positif palsu (FPR) — Persentase dari total peristiwa sah yang salah diprediksi sebagai penipuan.

  • Receiver Operator Curve (ROC) — Memplot laju positif sebenarnya sebagai fungsi dari laju positif palsu di atas semua ambang batas skor model yang mungkin. Lihat bagan ini dengan memilih Metrik Lanjutan.

  • Area di bawah kurva (AUC) — Merangkum TPR dan FPR di semua ambang batas skor model yang mungkin. Model tanpa daya prediksi memiliki AUC 0,5, sedangkan model sempurna memiliki skor 1,0.

  • Rentang ketidakpastian — Ini menunjukkan kisaran AUC yang diharapkan dari model. Rentang yang lebih besar (perbedaan batas atas dan bawah AUC > 0.1) berarti ketidakpastian model yang lebih tinggi. Jika rentang ketidakpastian besar (>0.1), pertimbangkan untuk menyediakan lebih banyak peristiwa berlabel dan latih kembali modelnya.

Untuk menggunakan metrik kinerja model

  1. Mulailah dengan bagan distribusi Skor untuk meninjau distribusi skor model untuk penipuan dan peristiwa yang sah. Idealnya, Anda akan memiliki pemisahan yang jelas antara penipuan dan peristiwa yang sah. Ini menunjukkan model dapat secara akurat mengidentifikasi peristiwa mana yang curang dan mana yang sah. Pilih ambang model dengan mengklik area bagan. Anda dapat melihat bagaimana menyesuaikan ambang skor model memengaruhi tingkat positif positif dan positif palsu Anda yang sebenarnya.

    catatan

    Bagan distribusi skor memplot penipuan dan peristiwa yang sah pada dua sumbu Y yang berbeda. Sumbu Y kiri mewakili peristiwa yang sah dan sumbu Y kanan mewakili peristiwa penipuan.

  2. Tinjau matriks Kebingungan. Bergantung pada ambang skor model yang Anda pilih, Anda dapat melihat dampak simulasi berdasarkan sampel 100.000 peristiwa. Distribusi penipuan dan peristiwa yang sah mensimulasikan tingkat penipuan dalam bisnis Anda. Gunakan informasi ini untuk menemukan keseimbangan yang tepat antara tingkat positif sejati dan tingkat positif palsu.

  3. Untuk detail tambahan, pilih Metrik Lanjutan. Gunakan bagan ROC untuk memahami hubungan antara tingkat positif sejati dan tingkat positif palsu untuk ambang skor model apa pun. Kurva ROC dapat membantu Anda menyempurnakan tradeoff antara tingkat positif sejati dan tingkat positif palsu.

    catatan

    Anda juga dapat meninjau metrik dalam bentuk tabel dengan memilih Tabel.

    Tampilan tabel juga menunjukkan Presisi metrik. Presisi adalah persentase kejadian penipuan yang diprediksi dengan benar sebagai penipuan dibandingkan dengan semua peristiwa yang diprediksi sebagai penipuan.

  4. Gunakan metrik kinerja untuk menentukan ambang model optimal untuk bisnis Anda berdasarkan sasaran dan kasus penggunaan deteksi penipuan Anda. Misalnya, jika Anda berencana menggunakan model untuk mengklasifikasikan pendaftaran akun baru sebagai risiko tinggi, sedang, atau rendah, Anda perlu mengidentifikasi dua skor ambang sehingga Anda dapat menyusun tiga ketentuan aturan sebagai berikut:

    • Skor > X berisiko tinggi

    • Skor < X but > Y adalah risiko sedang

    • Skor < Y berisiko rendah