Membuat alur kerja pencocokan berbasis aturan dengan tipe aturan lanjutan

Masuk ke Konsol Manajemen AWS dan buka Resolusi Entitas AWS konsol di https://console.aws.amazon.com/entityresolution/.

Di panel navigasi kiri, di bawah Alur kerja, pilih Pen coco kan.

Pada halaman Alu r kerja Pencocokan, di sudut kanan atas, pilih Buat alur kerja yang cocok.

Untuk Langkah 1: Tentukan detail alur kerja yang cocok, lakukan hal berikut:

1. Masukkan nama alur kerja Pen coco kan dan Deskripsi opsional.

2. Untuk input data, pilih AWS Glue database Wilayah AWS, AWS Glue tabel , dan kemudian pemetaan Skema yang sesuai.

   Anda dapat menambahkan hingga 19 input data.

   catatan

   Untuk menggunakan aturan lanjutan, pemetaan skema Anda harus memenuhi persyaratan berikut:

   1. Setiap bidang input harus dipetakan ke kunci pencocokan unik, kecuali bidang dikelompokkan bersama.

   2. Jika bidang input dikelompokkan bersama, mereka dapat berbagi kunci kecocokan yang sama.

      Misalnya, pemetaan skema berikut akan valid untuk aturan lanjutan:

      firstName: { matchKey: 'name', groupName: 'name' }

      lastName: { matchKey: 'name', groupName: 'name' }

      Dalam hal ini, lastName bidang firstName dan dikelompokkan bersama dan berbagi kunci pencocokan nama yang sama, yang diizinkan.

      Tinjau pemetaan skema Anda dan perbarui untuk mengikuti aturan pencocokan satu-ke-satu ini, kecuali bidang dikelompokkan dengan benar, untuk menggunakan aturan Lanjutan.

   3. Jika tabel data Anda memiliki kolom DELETE, jenis pemetaan skema harus String dan Anda tidak dapat memiliki matchKey dangroupName.

3. Opsi Normalisasi data dipilih secara default, sehingga input data dinormalisasi sebelum pencocokan. Jika Anda tidak ingin menormalkan data, hapus pilihan Normalisasi data.

   catatan

   Normalisasi hanya didukung untuk skenario berikut di Buat pemetaan skema:

   • Jika sub-tipe Nama berikut dikelompokkan: Nama depan, Nama tengah, Nama belakang.

   • Jika sub-tipe Alamat berikut dikelompokkan: Alamat jalan 1, Alamat jalan 2, Alamat jalan 3, Kota, Negara Bagian, Negara, Kode pos.

   • Jika sub-tipe Telep on berikut dikelompokkan: Nomor telepon, Kode negara telepon.

4. Untuk menentukan izin akses Layanan, pilih opsi dan lakukan tindakan yang disarankan.

   Opsi	Tindakan yang disarankan
   Membuat dan menggunakan peran layanan baru	Resolusi Entitas AWS membuat peran layanan dengan kebijakan yang diperlukan untuk tabel ini. Nama peran Layanan default adalahentityresolution-matching-workflow-<timestamp>. Anda harus memiliki izin untuk membuat peran dan melampirkan kebijakan. Jika data input Anda dienkripsi, Anda dapat memilih opsi Data ini dienkripsi dengan kunci KMS dan kemudian memasukkan AWS KMS kunci yang akan digunakan untuk mendekripsi input data Anda.
   Menggunakan peran layanan yang ada	Pilih nama peran layanan yang ada dari daftar dropdown. Daftar peran ditampilkan jika Anda memiliki izin untuk daftar peran. Jika Anda tidak memiliki izin untuk membuat daftar peran, Anda dapat memasukkan Nama Sumber Daya Amazon (ARN) dari peran yang ingin Anda gunakan. Jika tidak ada peran layanan yang ada, opsi untuk Menggunakan peran layanan yang ada tidak tersedia. Lihat peran layanan dengan memilih T ampilan di tautan eksternal IAM. Secara default, Resolusi Entitas AWS tidak mencoba memperbarui kebijakan peran yang ada untuk menambahkan izin yang diperlukan.

5. (Opsional) Untuk mengaktifkan Tag untuk sumber daya, pilih Tambahkan tag baru, lalu masukkan pasangan Kunci dan Nilai.

6. Pilih Berikutnya.

Untuk Langkah 2: Pilih teknik pencocokan:

1. Untuk Metode Pencocokan, pilih pen Rule-based cocokan.

2. Untuk Jenis aturan, pilih L anjutan.

   

3. Untuk Memproses ir ama, pilih salah satu opsi berikut.

   • Pilih Manual untuk menjalankan alur kerja sesuai permintaan untuk pembaruan massal

   • Pilih Otom atis untuk menjalankan alur kerja segera setelah data baru ada di bucket S3 Anda

   catatan

   Jika Anda memilih Otom atis, pastikan Anda mengaktifkan EventBridge notifikasi Amazon untuk bucket S3 Anda. Untuk petunjuk tentang cara mengaktifkan Amazon EventBridge menggunakan konsol S3, lihat Mengaktifkan Amazon EventBridge di Panduan Pengguna Amazon S3.

4. Untuk Aturan Pencocokan, masukkan nama Aturan dan kemudian buat kondisi A turan dengan memilih fungsi dan operator pencocokan yang sesuai dari daftar dropdown berdasarkan tujuan Anda.

   Anda dapat membuat hingga 25 aturan.

   catatan

   Resolusi Entitas AWS juga mendukung pencoco kan transitif, yang memproses catatan di semua tingkat aturan untuk menghubungkan grup kecocokan secara transitif. Pencocokan transitif tersedia sebagai API-only fitur. Ketika pencocokan transitif diaktifkan, pengubah EmptyValues =A baikan tidak didukung. Untuk informasi selengkapnya, lihat Menggunakan pencocokan transitif.

   Anda harus menggabungkan fungsi pencocokan fuzzy (Cosine, Levenshtein, atau S oundex) dengan fungsi pencocokan yang tepat (Exact, ExactManyToMany) menggunakan operator AND.

   Anda dapat menggunakan tabel berikut untuk membantu memutuskan jenis fungsi atau operator apa yang ingin Anda gunakan, tergantung pada tujuan Anda.

   Tujuan Anda	Fungsi atau operator yang disarankan	Pengubah opsional yang direkomendasikan	Kelebihan
   Cocokkan string identik pada data yang akurat tetapi tidak cocok pada nilai kosong.	Tepat	EmptyValues=Proses
   Cocokkan string identik pada data yang akurat dan abaikan nilai kosong.	Tepat (matchKey)	EmptyValues=Abaikan
   Cocokkan beberapa catatan di seluruh kunci pertandingan. Cocokan untuk pasangan fleksibel. Batas: 15 tombol pertandingan	ExactManyToMany(matchKey, matchKey, ...)	n/a
   Ukur kesamaan antara representasi numerik data tetapi tidak cocok pada nilai kosong. Cocokan untuk teks, angka, atau campuran keduanya.	Kosinus	EmptyValues=Proses	Sederhana, efisien. Bekerja dengan baik dengan teks panjang bila dikombinasikan dengan pem TF-IDF bobotan. Bagus untuk pencocokan berbasis kata yang tepat.
   Ukur kesamaan antara representasi numerik data dan abaikan nilai kosong.	Kosinus (matchKey,threshold,...)	EmptyValues=Abaikan	Menangani kesalahan ketik, kesalahan ejaan, dan transposisi dengan baik. Efektif pada berbagai jenis PII. Baik untuk string pendek (misalnya, nama atau nomor telepon).
   Hitung jumlah minimum perubahan yang diperlukan untuk mengubah satu kata menjadi kata lain tetapi tidak cocok pada nilai kosong. Cocokan untuk teks dengan sedikit perbedaan dalam ejaan.	Levenshtein	EmptyValues=Proses
   Hitung jumlah minimum perubahan yang diperlukan untuk mengubah satu kata menjadi kata lain dan abaikan nilai kosong.	Levenshtein (matchKey,,threshold...)	EmptyValues=Abaikan
   Bandingkan dan cocokkan string teks berdasarkan seberapa mirip suaranya tetapi tidak cocok pada nilai kosong. Cocokan untuk teks dengan variasi ejaan atau pengucapan.	Soundex	EmptyValues=Proses	Efektif untuk pencocokan fonetik, mengidentifikasi kata-kata yang terdengar mirip. Cepat dan murah secara komputasi. Bagus untuk mencocokkan nama dengan pengucapan yang serupa tetapi ejaan yang berbeda.
   Bandingkan dan cocokkan string teks berdasarkan seberapa mirip mereka terdengar dan abaikan nilai kosong.	Soundex () matchKey	EmptyValues=Abaikan
   Gabungkan fungsi.	DAN	n/a
   Fungsi terpisah.	ATAU	n/a
   Kondisi grup untuk membuat kondisi bersarang.	(…)	n/a

   contoh Kondisi aturan yang cocok pada nomor telepon dan email

   Berikut ini adalah contoh kondisi aturan yang cocok dengan catatan pada nomor telepon (Kunci pen coco kan telepon) dan alamat email (kunci pen cocokan alamat email):

   Exact(Phone,EmptyValues=Process) AND Levenshtein("Email address",2)

   

   Tombol pen cocokan telepon menggunakan fungsi pen coco kan tepat untuk mencocokkan string yang identik. Tombol pen cocokan telepon memproses nilai kosong dalam pencocokan menggunakan pengu EmptyValues bah = Proses.

   Kunci pen cocokan alamat email menggunakan fungsi pencocokan Levenshtein untuk men cocokkan data dengan kesalahan ejaan menggunakan ambang batas algoritma Jarak Levenshtein default 2. Tombol pen cocokan Email tidak menggunakan pengubah opsional apa pun.

   Operator AND menggabungkan fungsi pen coco kan Exact dan fungsi pencocokan Levenshtein.

   contoh Kondisi aturan yang digunakan ExactManyToMany untuk melakukan pencocokan kunci pertandingan

   Berikut ini adalah contoh kondisi aturan yang cocok dengan catatan pada tiga bidang alamat (kunci HomeAddress match, match key, BillingAddress dan ShippingAddress match key untuk menemukan kecocokan potensial dengan memeriksa apakah ada yang memiliki nilai yang identik.

   ExactManyToManyOperator mengevaluasi semua kemungkinan kombinasi bidang alamat yang ditentukan untuk mengidentifikasi kecocokan yang tepat antara dua atau lebih alamat. Misalnya, itu akan mendeteksi apakah HomeAddress cocok dengan BillingAddress atauShippingAddress, atau jika ketiga alamat cocok persis.

   ExactManyToMany(HomeAddress, BillingAddress, ShippingAddress)

   contoh Kondisi aturan yang menggunakan pengelompokan

   Dalam Pencocokan Berbasis Aturan Lanjutan dengan kondisi fuzzy, sistem pertama-tama mengelompokkan catatan ke dalam cluster berdasarkan kecocokan yang tepat. Setelah cluster awal ini terbentuk, sistem menerapkan filter pencocokan fuzzy untuk mengidentifikasi kecocokan tambahan dalam setiap cluster. Untuk kinerja optimal, Anda harus memilih kondisi pencocokan yang tepat berdasarkan pola data Anda untuk membuat cluster awal yang terdefinisi dengan baik.

   Berikut ini adalah contoh kondisi aturan yang menggabungkan beberapa kecocokan tepat dengan persyaratan kecocokan fuzzy. Ini menggunakan AND operator untuk memeriksa bahwa tiga bidang -FullName, Tanggal Lahir (DOB), dan Address - cocok persis di antara catatan. Ini juga memungkinkan variasi kecil di InternalID lapangan menggunakan jarak Levenshtein. 1 Jarak Levenshtein mengukur jumlah minimum pengeditan karakter tunggal yang diperlukan untuk mengubah satu string menjadi yang lain. Jarak 1 berarti akan cocok InternalIDs yang berbeda hanya dengan satu karakter (seperti salah ketik tunggal, penghapusan, atau penyisipan). Kombinasi kondisi ini membantu mengidentifikasi catatan yang sangat mungkin mewakili entitas yang sama, bahkan jika ada perbedaan kecil dalam pengidentifikasi.

   Exact(FullName) AND Exact(DOB) AND Exact(Address) and Levenshtein(InternalID, 1)

5. Pilih Berikutnya.

Untuk Langkah 3: Tentukan output data dan format:

1. Untuk tujuan dan format keluaran data, pilih lokasi Amazon S3 untuk keluaran data dan apakah format Data akan menjadi Data Normalisasi atau Data Asli.

2. Untuk Enkripsi, jika Anda memilih untuk Men yesuaikan pengaturan enkripsi, masukkan AWS KMS kunci ARN.

3. Lihat output yang dihasilkan Sistem.

4. Untuk Output Data, tentukan bidang mana yang ingin Anda sertakan, sembunyikan, atau disembunyikan, lalu lakukan tindakan yang disarankan berdasarkan tujuan Anda.

   Tujuan Anda	Tindakan yang disarankan
   Sertakan bidang	Pertahankan status output sebagai Ter masuk.
   Sembunyikan bidang (dikecualikan dari output)	Pilih bidang Output, lalu pilih Sem bunyikan.
   Bidang topeng	Pilih bidang Output, lalu pilih Hash output.
   Setel ulang pengaturan sebelumnya	Pilih Reset.

5. Pilih Berikutnya.

Untuk Langkah 4: Tinjau dan buat:

1. Tinjau pilihan yang Anda buat untuk langkah-langkah sebelumnya dan edit jika perlu.

2. Pilih Buat dan jalankan.

   Sebuah pesan muncul, menunjukkan bahwa alur kerja yang cocok telah dibuat dan pekerjaan telah dimulai.

Pada halaman detail alur kerja yang cocok, pada tab Metrik, lihat berikut ini di bawah Metrik pekerjaan terakhir:

Anda juga dapat melihat metrik pekerjaan untuk pekerjaan alur kerja yang cocok yang telah dijalankan sebelumnya di bawah Ri wayat pekerjaan.

Setelah pekerjaan alur kerja pencocokan selesai (Status Selesai), Anda dapat membuka tab Output data dan kemudian memilih lokasi Amazon S3 Anda untuk melihat hasilnya.

(Hanya jenis pemrosesan manual) Jika Anda telah membuat alur kerja yang Rule-based cocok dengan jenis pemrosesan manual, Anda dapat menjalankan alur kerja yang cocok kapan saja dengan memilih Jalankan alur kerja di halaman detail alur kerja yang cocok.

(Hanya jenis pemrosesan otomatis) Jika tabel data Anda memiliki kolom DELETE, maka:

Untuk informasi selengkapnya, lihat Langkah 1: Siapkan tabel data pihak pertama.

Buka terminal atau command prompt untuk membuat permintaan API.

Buat permintaan POST ke titik akhir berikut:

/matchingworkflows

Di header permintaan, atur Content-type ke application/json.

Untuk badan permintaan, berikan parameter JSON yang diperlukan berikut:

{
   "description": "string",
   "incrementalRunConfig": { 
      "incrementalRunType": "string"
   },
   "inputSourceConfig": [ 
      { 
         "applyNormalization": boolean,
         "inputSourceARN": "string",
         "schemaName": "string"
      }
   ],
   "outputSourceConfig": [ 
      { 
         "applyNormalization": boolean,
         "KMSArn": "string",
         "output": [ 
            { 
               "hashed": boolean,
               "name": "string"
            }
         ],
         "outputS3Path": "string"
      }
   ],
   "resolutionTechniques": { 
      "providerProperties": { 
         "intermediateSourceConfiguration": { 
            "intermediateS3Path": "string"
         },
         "providerConfiguration": JSON value,
         "providerServiceArn": "string"
      },
      "resolutionType": "RULE_MATCHING",
      "ruleBasedProperties": { 
         "attributeMatchingModel": "string",
         "matchPurpose": "string",
         "rules": [ 
            { 
               "matchingKeys": [ "string" ],
               "ruleName": "string"
            }
         ]
      },
      "ruleConditionProperties": { 
         "rules": [ 
            { 
               "condition": "string",
               "ruleName": "string"
            }
         ]
      }
   },
   "roleArn": "string",
   "tags": { 
      "string" : "string" 
   },
   "workflowName": "string"
}

Di mana:

Parameter opsional meliputi:

(Opsional) Untuk menggunakan pemrosesan tambahan alih-alih pemrosesan standar (batch) default, tambahkan parameter berikut ke badan permintaan:

"incrementalRunConfig": {
   "incrementalRunType": "AUTOMATIC"
}

Kirim permintaan .

Jika berhasil, Anda akan menerima respons dengan kode status 200 dan badan JSON yang berisi:

{
   "workflowArn": "string",
   "workflowName": "string",
   // Plus all configured workflow details
}

Jika panggilan tidak berhasil, Anda mungkin menerima salah satu kesalahan berikut: