View a markdown version of this page

Dataset acara - Amazon Fraud Detector
Struktur kumpulan data acaraDapatkan persyaratan dataset acara menggunakan penjelajah model dataKumpulkan data acaraValidasi datasetPenyimpanan kumpulan data

Amazon Fraud Detector tidak lagi terbuka untuk pelanggan baru pada 7 November 2025. Untuk kemampuan yang mirip dengan Amazon Fraud Detector, jelajahi Amazon SageMaker, AutoGluon, dan AWS WAF.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Dataset acara

Dataset peristiwa adalah data penipuan historis untuk perusahaan Anda. Anda memberikan data ini ke Amazon Fraud Detector untuk membuat model deteksi penipuan.

Amazon Fraud Detector menggunakan model pembelajaran mesin untuk menghasilkan prediksi penipuan. Setiap model dilatih menggunakan tipe model. Jenis model menentukan algoritma dan transformasi yang digunakan untuk melatih model. Pelatihan model adalah proses menggunakan dataset yang Anda berikan untuk membuat model yang dapat memprediksi peristiwa penipuan. Untuk informasi selengkapnya, lihat Cara kerja Amazon Fraud Detector

Dataset yang digunakan untuk membuat model deteksi penipuan memberikan rincian suatu peristiwa. Acara adalah aktivitas bisnis yang dievaluasi akan risiko penipuan. Misalnya, pendaftaran akun bisa menjadi acara. Data yang terkait dengan acara pendaftaran akun dapat berupa kumpulan data acara. Amazon Fraud Detector menggunakan kumpulan data ini untuk mengevaluasi penipuan pendaftaran akun.

Sebelum Anda memberikan dataset Anda ke Amazon Fraud Detector untuk membuat model, pastikan untuk menentukan tujuan Anda untuk membuat model. Anda juga perlu menentukan bagaimana Anda ingin menggunakan model dan menentukan metrik Anda untuk mengevaluasi apakah model berkinerja berdasarkan persyaratan spesifik Anda.

Misalnya, tujuan Anda untuk membuat model deteksi penipuan yang mengevaluasi penipuan pendaftaran akun adalah sebagai berikut:

  • Untuk menyetujui pendaftaran yang sah secara otomatis.

  • Untuk menangkap pendaftaran penipuan untuk penyelidikan nanti.

Setelah Anda menentukan tujuan Anda, langkah selanjutnya adalah memutuskan bagaimana Anda ingin menggunakan model. Beberapa contoh untuk menggunakan model deteksi penipuan untuk mengevaluasi penipuan pendaftaran adalah sebagai berikut:

  • Untuk deteksi penipuan real-time untuk setiap pendaftaran akun.

  • Untuk evaluasi offline dari semua pendaftaran akun setiap jam.

Beberapa contoh metrik yang dapat digunakan untuk mengukur kinerja model meliputi:

  • Berkinerja secara konsisten lebih baik daripada baseline saat ini dalam produksi.

  • Menangkap pendaftaran penipuan X% dengan tingkat positif palsu Y%.

  • Menerima hingga 5% pendaftaran yang disetujui secara otomatis yang merupakan penipuan.

Struktur kumpulan data acara

Amazon Fraud Detector mengharuskan Anda memberikan kumpulan data peristiwa dalam file teks menggunakan nilai yang dipisahkan koma (CSV) dalam format tersebut UTF-8 . Baris pertama file dataset CSV Anda harus berisi header file. Header file terdiri dari metadata peristiwa dan variabel peristiwa yang menggambarkan setiap elemen data yang terkait dengan peristiwa. Header diikuti oleh data peristiwa. Setiap baris terdiri dari elemen data dari satu peristiwa.

  • Metadata acara - memberikan informasi tentang acara. Misalnya, EVENT_TIMESTAMP adalah metadata peristiwa yang menentukan waktu peristiwa terjadi. Bergantung pada kasus penggunaan bisnis Anda dan jenis model yang digunakan untuk membuat dan melatih model deteksi penipuan Anda, Amazon Fraud Detector mengharuskan Anda untuk memberikan metadata peristiwa tertentu. Saat menentukan metadata peristiwa di header file CSV, gunakan nama metadata peristiwa yang sama seperti yang ditentukan oleh Amazon Fraud Detector dan gunakan huruf besar saja.

  • Variabel peristiwa - mewakili elemen data yang khusus untuk acara Anda yang ingin Anda gunakan untuk membuat dan melatih model deteksi penipuan Anda. Bergantung pada kasus penggunaan bisnis Anda dan dan jenis model yang digunakan untuk membuat dan melatih model deteksi penipuan, Amazon Fraud Detector mungkin memerlukan atau merekomendasikan agar Anda memberikan variabel peristiwa tertentu. Anda juga dapat secara opsional memberikan variabel acara lain dari acara Anda yang ingin Anda sertakan dalam pelatihan model. Beberapa contoh variabel acara untuk acara pendaftaran online dapat berupa alamat email, alamat ip, dan nomor telepon. Saat menentukan nama variabel peristiwa di header file CSV Anda, gunakan nama variabel pilihan Anda dan gunakan huruf kecil saja.

  • Data peristiwa - mewakili data yang dikumpulkan dari peristiwa aktual. Dalam file CSV Anda, setiap baris mengikuti header file terdiri dari elemen data dari satu peristiwa. Misalnya, dalam file data acara pendaftaran online, setiap baris berisi data dari satu pendaftaran. Setiap elemen data dalam baris harus cocok dengan metadata peristiwa yang sesuai atau variabel peristiwa.

Berikut ini adalah contoh file CSV yang berisi data dari acara pendaftaran akun. Baris header berisi metadata peristiwa dalam huruf besar dan variabel peristiwa dalam huruf kecil diikuti oleh data peristiwa. Setiap baris dalam dataset berisi elemen data yang terkait dengan pendaftaran akun tunggal dengan setiap elemen data yang sesuai dengan header.

File CSV dengan baris header yang menunjukkan metadata acara dan variabel, diikuti oleh baris data acara.

Dapatkan persyaratan dataset acara menggunakan penjelajah model data

Jenis model yang Anda pilih untuk membuat model menentukan persyaratan untuk dataset Anda. Amazon Fraud Detector menggunakan dataset yang Anda berikan untuk membuat dan melatih model deteksi penipuan Anda. Sebelum Amazon Fraud Detector mulai membuat model Anda, Amazon akan memeriksa apakah dataset memenuhi ukuran, format, dan persyaratan lainnya. Jika dataset tidak memenuhi persyaratan, pembuatan model dan pelatihan gagal. Anda dapat menggunakan pen jelajah model data untuk mengidentifikasi jenis model yang akan digunakan untuk kasus penggunaan bisnis Anda dan untuk mendapatkan wawasan tentang persyaratan dataset untuk jenis model yang diidentifikasi.

Penjelajah model data

Pen jelajah model data adalah alat di konsol Amazon Fraud Detector yang menyelaraskan kasus penggunaan bisnis Anda dengan jenis model yang didukung oleh Amazon Fraud Detector. Penjelajah model data juga memberikan wawasan tentang elemen data yang diperlukan oleh Amazon Fraud Detector untuk membuat model deteksi penipuan Anda. Sebelum Anda mulai menyiapkan dataset acara Anda, gunakan penjelajah model data untuk mengetahui jenis model yang direkomendasikan Amazon Fraud Detector untuk penggunaan bisnis Anda dan juga untuk melihat daftar elemen data wajib, direkomendasikan, dan opsional yang Anda perlukan untuk membuat dataset Anda.

Untuk menggunakan penjelajah model data,

  1. Buka Konsol AWS Manajemen dan masuk ke akun Anda. Arahkan ke Amazon Fraud Detector.

  2. Di panel navigasi kiri, pilih Pen jelajah model data.

  3. Di halaman penjelajah model data, di bawah Kasus penggunaan bisnis, pilih kasus penggunaan bisnis yang ingin Anda evaluasi untuk risiko penipuan.

  4. Amazon Fraud Detector menampilkan jenis model yang direkomendasikan yang sesuai dengan kasus penggunaan bisnis Anda. Jenis model mendefinisikan algoritma, pengayaan, dan transformasi yang akan digunakan Amazon Fraud Detector untuk melatih model deteksi penipuan Anda.

    Catat jenis model yang disarankan. Anda akan membutuhkan ini nanti ketika Anda membuat model Anda.

    catatan

    Jika Anda tidak menemukan kasus penggunaan bisnis Anda, gunakan tautan hubungi kami dalam deskripsi untuk memberi kami rincian kasus penggunaan bisnis Anda. Kami akan merekomendasikan jenis model yang akan digunakan untuk membuat model deteksi penipuan untuk kasus penggunaan bisnis Anda.

  5. Panel wawasan model data memberikan wawasan tentang elemen data wajib, direkomendasikan, dan opsional yang diperlukan untuk membuat dan melatih model deteksi penipuan untuk kasus penggunaan bisnis Anda. Gunakan informasi di panel wawasan untuk mengumpulkan data acara dan membuat kumpulan data Anda.

Kumpulkan data acara

Mengumpulkan data acara Anda adalah langkah penting dalam membuat model Anda. Ini karena kinerja model Anda dalam memprediksi penipuan tergantung pada kualitas dataset Anda. Saat Anda mulai mengumpulkan data acara Anda, ingatlah daftar elemen data yang disediakan oleh penjelajah model data untuk Anda membuat dataset. Anda perlu mengumpulkan semua data wajib (metadata acara) dan memutuskan elemen data yang direkomendasikan dan opsional (variabel peristiwa) untuk disertakan berdasarkan tujuan Anda untuk membuat model. Penting juga untuk memutuskan format setiap variabel peristiwa yang ingin Anda sertakan dan ukuran total dataset Anda.

Kualitas kumpulan data acara

Untuk mengumpulkan dataset berkualitas tinggi untuk model Anda, kami merekomendasikan hal berikut:

  • Kumpulkan data matang- Menggunakan data terbaru membantu mengidentifikasi pola penipuan terbaru. Namun, untuk mendeteksi kasus penggunaan penipuan, biarkan data matang. Periode jatuh tempo tergantung pada bisnis Anda, dan dapat memakan waktu dari dua minggu hingga tiga bulan. Misalnya, jika acara Anda mencakup transaksi kartu kredit, maka jatuh tempo data mungkin ditentukan oleh periode chargeback kartu kredit atau waktu yang dibutuhkan oleh penyelidik untuk membuat keputusan.

    Pastikan dataset yang digunakan untuk melatih model memiliki waktu yang cukup untuk matang sesuai bisnis Anda.

  • Pastikan distribusi data tidak menyimpang secara signifikan - Amazon Fraud Detector membuat contoh proses pelatihan dan mempartisi dataset Anda berdasarkan EVENT_TIMESTAMP. Misalnya, jika dataset Anda terdiri dari peristiwa penipuan yang ditarik dari 6 bulan terakhir, tetapi hanya bulan terakhir peristiwa sah yang disertakan, distribusi data dianggap melayang dan tidak stabil. Dataset yang tidak stabil dapat menyebabkan bias dalam evaluasi kinerja model. Jika Anda menemukan distribusi data melayang secara signifikan, pertimbangkan untuk menyeimbangkan dataset Anda dengan mengumpulkan data yang mirip dengan distribusi data saat ini.

  • Pastikan kumpulan data mewakili kasus penggunaan di mana model berada implemented/tested - Jika tidak, perkiraan kinerja bisa menjadi bias. Katakanlah Anda menggunakan model untuk secara otomatis menolak semua pelamar di dalam pintu, tetapi model Anda dilatih dengan kumpulan data yang memiliki riwayat data/labels yang sebelumnya disetujui. Kemudian, evaluasi model Anda mungkin tidak akurat karena evaluasi didasarkan pada kumpulan data yang tidak memiliki representasi dari pelamar yang ditolak.

Format data acara

Amazon Fraud Detector mengubah sebagian besar data Anda ke format yang diperlukan sebagai bagian dari proses pelatihan modelnya. Namun, ada beberapa format standar yang dapat Anda gunakan dengan mudah untuk menyediakan data Anda yang dapat membantu menghindari masalah nanti ketika Amazon Fraud Detector memvalidasi kumpulan data Anda. Tabel berikut memberikan panduan tentang format untuk menyediakan metadata acara yang direkomendasikan.

catatan

Saat Anda membuat file CSV, pastikan untuk memasukkan nama metadata acara seperti yang tercantum di bawah ini, dengan huruf besar.

Nama metadata Format Diperlukan

EVENT_ID

Jika disediakan, itu harus memenuhi persyaratan berikut:

  • Ini unik untuk acara itu.

  • Ini mewakili informasi yang berarti bagi bisnis Anda.

  • Ini mengikuti pola ekspresi reguler (misalnya, ^[0-9a-z_-]+$.)

  • Selain persyaratan di atas, kami menyarankan agar Anda tidak menambahkan stempel waktu ke EVENT_ID. Melakukannya dapat menyebabkan masalah saat Anda memperbarui acara. Ini karena Anda harus memberikan EVENT_ID yang sama persis jika Anda melakukan ini.

Tergantung pada jenis model

STEMPEL WAKTU ACARA

  • Itu harus ditentukan dalam salah satu format berikut:

    • %yyyy-%mm-%ddt%hh: %mm: %sSz (standar ISO 8601 di UTC hanya tanpa milidetik)

      Contoh: 2019-11-30 T13:01:01Z

    • %yyyy/%mm/%dd %hh: %mm: %ss () AM/PM

      Contoh: 2019/11 /30 1:01:01 PM, atau /30 13:01:01 2019/11

    • %mm/%dd/%yyyy %hh: %mm: %ss

      Contoh: 11/30 /2019 1:01:01 PM, /2019 13:01:01 11/30

    • %mm/%dd/%yy %hh: %mm: %ss

      Contoh: 11/30 /19 1:01:01 PM, /19 13:01:01 11/30

  • Amazon Fraud Detector membuat asumsi berikut saat mengurai date/timestamp format untuk stempel waktu acara:

    • Jika Anda menggunakan standar ISO 8601, itu harus sesuai dengan spesifikasi sebelumnya

    • Jika Anda menggunakan salah satu format lain, ada fleksibilitas tambahan:

      • Selama berbulan-bulan dan hari, Anda dapat memberikan digit tunggal atau ganda. Misalnya, 1/12 /2019 adalah tanggal yang valid.

      • Anda tidak perlu memasukkan hh: mm: ss jika Anda tidak memilikinya (yaitu, Anda cukup memberikan tanggal). Anda juga dapat memberikan subset hanya jam dan menit (misalnya, hh:mm). Hanya menyediakan jam tidak didukung. Milidetik juga tidak didukung.

      • Jika Anda memberikan AM/PM label, jam 12 jam diasumsikan. Jika tidak ada AM/PM informasi, jam 24 jam diasumsikan.

      • Anda dapat menggunakan “/” atau “-” sebagai pembatas untuk elemen tanggal. “:” diasumsikan untuk elemen stempel waktu.

Ya

ENTITAS_ID

  • Itu harus mengikuti pola ekspresi reguler:^[0-9A-Za-z_.@+-]+$.

  • Jika id entitas tidak tersedia pada saat evaluasi, tentukan id entitas sebagai tidak diketahui.

Tergantung pada jenis model

TIPE_ENTITAS

 Anda dapat menggunakan string apa pun

Tergantung pada jenis model

LABEL_ACARA

Anda dapat menggunakan label apa pun, seperti “penipuan”, “legit”, “1", atau “0".

Diperlukan jika LABEL_TIMESTAMP disertakan

LABEL_TIMESTAMP

Itu harus mengikuti format stempel waktu.

Diperlukan jika EVENT_LABEL disertakan

Untuk informasi tentang variabel peristiwa, lihat Variabel.

penting

Jika Anda membuat model Account Takeover Insights (ATI), lihat Mempersiapkan data detail tentang menyiapkan dan memilih data.

Nilai nol atau hilang

Variabel EVENT_TIMESTAMP dan EVENT_LABEL tidak boleh berisi nilai nol atau hilang. Anda dapat memiliki nilai nol atau hilang untuk variabel lain. Namun, kami menyarankan Anda hanya menggunakan angka nol dalam jumlah kecil untuk variabel-variabel tersebut. Jika Amazon Fraud Detector menentukan bahwa ada terlalu banyak nilai nol atau hilang untuk variabel peristiwa, variabel akan dihapus secara otomatis dari model Anda.

Variabel minimum

Saat Anda membuat model, dataset harus menyertakan setidaknya dua variabel peristiwa selain metadata peristiwa yang diperlukan. Kedua variabel peristiwa harus lulus pemeriksaan validasi.

Ukuran kumpulan data acara

Diperlukan

Dataset Anda harus memenuhi persyaratan dasar berikut untuk pelatihan model yang berhasil.

  • Data dari setidaknya 100 acara.

  • Dataset harus mencakup setidaknya 50 peristiwa (baris) yang diklasifikasikan sebagai penipuan.

Disarankan

Kami menyarankan dataset Anda menyertakan yang berikut untuk pelatihan model yang sukses dan kinerja model yang baik.

  • Sertakan data historis minimal tiga minggu, tetapi paling banter enam bulan data.

  • Sertakan minimal 10K total data acara.

  • Sertakan setidaknya 400 peristiwa (baris) yang diklasifikasikan sebagai penipuan dan 400 peristiwa (baris) yang diklasifikasikan sebagai sah.

  • Sertakan lebih dari 100 entitas unik, jika tipe model Anda memerlukan ENTITY_ID.

Validasi dataset

Sebelum Amazon Fraud Detector mulai membuat model Anda, Amazon akan memeriksa apakah variabel yang disertakan dalam dataset untuk melatih model memenuhi ukuran, format, dan persyaratan lainnya. Jika dataset tidak lulus validasi, model tidak dibuat. Anda harus terlebih dahulu memperbaiki variabel yang tidak lulus validasi sebelum Anda membuat model. Amazon Fraud Detector memberi Anda profil Data yang dapat Anda gunakan untuk membantu mengidentifikasi dan memperbaiki masalah dengan dataset Anda sebelum Anda mulai melatih model Anda

Data Profiler

Amazon Fraud Detector menyediakan alat sumber terbuka untuk membuat profil dan mempersiapkan data Anda untuk pelatihan model. Profiler data otomatis ini membantu Anda menghindari kesalahan persiapan data umum dan mengidentifikasi masalah potensial seperti jenis variabel yang salah dipetakan yang akan berdampak negatif pada kinerja model. Profiler menghasilkan laporan intuitif dan komprehensif dari dataset Anda, termasuk statistik variabel, distribusi label, analisis kategoris dan numerik, dan korelasi variabel dan label. Ini memberikan panduan tentang jenis variabel serta opsi untuk mengubah dataset menjadi format yang dibutuhkan Amazon Fraud Detector.

Menggunakan profiler data

Profiler data otomatis dibangun dengan tumpukan AWS CloudFormation , yang dapat Anda luncurkan dengan mudah dengan beberapa klik. Semua kode tersedia di Github. Untuk informasi tentang cara menggunakan profiler data, ikuti petunjuk di blog kami L atih model lebih cepat dengan profiler data otomatis untuk Amazon Fraud Detector

Kesalahan kumpulan data peristiwa umum

Berikut ini adalah beberapa masalah umum yang dihadapi Amazon Fraud Detector saat memvalidasi kumpulan data peristiwa. Setelah menjalankan profiler data, gunakan daftar ini untuk memeriksa dataset Anda untuk kesalahan sebelum membuat model Anda.

  • File CSV tidak dalam UTF-8 format.

  • Jumlah peristiwa dalam dataset kurang dari 100.

  • Jumlah peristiwa yang diidentifikasi sebagai penipuan atau sah kurang dari 50.

  • Jumlah entitas unik yang terkait dengan peristiwa penipuan kurang dari 100.

  • Lebih dari 0,1% nilai di EVENT_TIMESTAMP berisi nol atau nilai selain format yang didukung. date/timestamp

  • Lebih dari 1% nilai di EVENT_LABEL berisi nol atau nilai selain yang ditentukan dalam tipe acara.

  • Kurang dari dua variabel tersedia untuk pelatihan model.

Penyimpanan kumpulan data

Setelah mengumpulkan dataset, Anda menyimpan dataset secara internal menggunakan Amazon Fraud Detector atau secara eksternal dengan Amazon Simple Storage Service (Amazon S3). Kami menyarankan Anda memilih tempat menyimpan dataset berdasarkan model yang Anda gunakan untuk menghasilkan prediksi penipuan. Untuk informasi selengkapnya tentang jenis model, lihat Mem ilih jenis model. Untuk informasi selengkapnya tentang menyimpan dataset Anda, lihatPenyimpanan data acara.