View a markdown version of this page

Metrik kinerja model - Amazon Fraud Detector

Amazon Fraud Detector tidak lagi terbuka untuk pelanggan baru pada 7 November 2025. Untuk kemampuan yang mirip dengan Amazon Fraud Detector, jelajahi Amazon SageMaker, AutoGluon, dan AWS WAF.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik kinerja model

Setelah pelatihan model selesai, Amazon Fraud Detector memvalidasi kinerja model menggunakan 15% data Anda yang tidak digunakan untuk melatih model. Anda dapat mengharapkan model Amazon Fraud Detector terlatih Anda memiliki kinerja deteksi penipuan dunia nyata yang mirip dengan metrik kinerja validasi.

Sebagai bisnis, Anda harus menyeimbangkan antara mendeteksi lebih banyak penipuan, dan menambahkan lebih banyak gesekan kepada pelanggan yang sah. Untuk membantu dalam memilih keseimbangan yang tepat, Amazon Fraud Detector menyediakan alat berikut untuk menilai kinerja model:

  • Bagan distribusi skor — Histogram distribusi skor model mengasumsikan contoh populasi 100.000 peristiwa. Sumbu Y kiri mewakili peristiwa yang sah dan sumbu Y kanan mewakili peristiwa penipuan. Anda dapat memilih ambang model tertentu dengan mengklik area bagan. Ini akan memperbarui tampilan yang sesuai dalam matriks kebingungan dan bagan ROC.

  • Matriks kebingungan — Merangkum akurasi model untuk ambang skor tertentu dengan membandingkan prediksi model dengan hasil aktual. Amazon Fraud Detector mengasumsikan populasi contoh 100.000 peristiwa. Distribusi penipuan dan peristiwa yang sah mensimulasikan tingkat penipuan dalam bisnis Anda.

    • Positif sejati — Model memprediksi penipuan dan peristiwa itu sebenarnya adalah penipuan.

    • Positif palsu — Model memprediksi penipuan tetapi peristiwa tersebut sebenarnya sah.

    • Negatif sejati — Model memprediksi sah dan peristiwa itu sebenarnya sah.

    • Negatif palsu — Model memprediksi sah tetapi peristiwa itu sebenarnya penipuan.

    • Tingkat positif sejati (TPR) — Persentase total penipuan yang dideteksi model. Juga dikenal sebagai Capture Rate.

    • Tingkat positif palsu (FPR) — Persentase dari total peristiwa sah yang salah diprediksi sebagai penipuan.

  • Kurva Operator Penerima (ROC) — Memplot tingkat positif sebenarnya sebagai fungsi dari tingkat positif palsu di atas semua ambang skor model yang mungkin. Lihat bagan ini dengan memilih Metrik L anjutan.

  • Area di bawah kurva (AUC) — Merangkum TPR dan FPR di semua ambang skor model yang mungkin. Model tanpa daya prediksi memiliki AUC 0,5, sedangkan model sempurna memiliki skor 1,0.

  • Kisaran ketidakpastian — Ini menunjukkan kisaran AUC yang diharapkan dari model. Kisaran yang lebih besar (perbedaan batas atas dan bawah AUC > 0,1) berarti ketidakpastian model yang lebih tinggi. Jika rentang ketidakpastian besar (>0,1), pertimbangkan untuk memberikan lebih banyak peristiwa berlabel dan latih ulang model.

Untuk menggunakan metrik kinerja model

  1. Mulailah dengan bagan distribusi Skor untuk meninjau distribusi skor model untuk penipuan dan peristiwa sah Anda. Idealnya, Anda akan memiliki pemisahan yang jelas antara penipuan dan peristiwa yang sah. Ini menunjukkan model dapat secara akurat mengidentifikasi peristiwa mana yang curang dan mana yang sah. Pilih ambang model dengan mengklik area bagan. Anda dapat melihat bagaimana menyesuaikan ambang skor model memengaruhi tingkat positif dan positif palsu Anda yang sebenarnya.

    catatan

    Bagan distribusi skor memplot penipuan dan peristiwa sah pada dua sumbu Y yang berbeda. Sumbu Y kiri mewakili peristiwa yang sah dan sumbu Y kanan mewakili peristiwa penipuan.

  2. Tinjau matriks kebingungan. Bergantung pada ambang skor model yang Anda pilih, Anda dapat melihat dampak simulasi berdasarkan sampel 100.000 peristiwa. Distribusi penipuan dan peristiwa yang sah mensimulasikan tingkat penipuan dalam bisnis Anda. Gunakan informasi ini untuk menemukan keseimbangan yang tepat antara tingkat positif sejati dan tingkat positif palsu.

  3. Untuk detail tambahan, pilih Metrik Lanjutan. Gunakan bagan ROC untuk memahami hubungan antara tingkat positif sejati dan tingkat positif palsu untuk ambang skor model apa pun. Kurva ROC dapat membantu Anda menyempurnakan pertukaran antara tingkat positif sejati dan tingkat positif palsu.

    catatan

    Anda juga dapat meninjau metrik dalam bentuk tabel dengan memilih Tabel.

    Tampilan tabel juga menunjukkan metrik Presisi. Presisi adalah persentase peristiwa penipuan yang diprediksi dengan benar sebagai penipuan dibandingkan dengan semua peristiwa yang diprediksi sebagai penipuan.

  4. Gunakan metrik kinerja untuk menentukan ambang batas model optimal untuk bisnis Anda berdasarkan tujuan Anda dan kasus penggunaan deteksi penipuan. Misalnya, jika Anda berencana menggunakan model untuk mengklasifikasikan pendaftaran akun baru sebagai risiko tinggi, sedang, atau rendah, Anda perlu mengidentifikasi dua skor ambang batas sehingga Anda dapat menyusun tiga ketentuan aturan sebagai berikut:

    • Skor > X berisiko tinggi

    • Skor < X but > Y berisiko sedang

    • Skor < Y berisiko rendah