Corrispondenza dei record con FindMatches AWS Lake Formation

Matching Customers (Corrispondenza di clienti): collegamento di record dei clienti tra diversi database, anche quando molti campi non corrispondono esattamente tra i database (ad es. diversa ortografia dei nomi, differenze di indirizzo, dati mancanti o imprecisi e così via).

Matching Products (Corrispondenza di prodotti): abbinamento dei prodotti nel catalogo rispetto ad altre origini, ad esempio catalogo di prodotti rispetto al catalogo di un concorrente, in cui le voci sono strutturate in modo diverso.

Improving Fraud Detection (Miglioramento del rilevamento delle frodi): identificazione di account dei clienti duplicati, determinazione di quando un nuovo account creato è (o potrebbe essere) una corrispondenza per un utente fraudolento noto.

Other Matching Problems (Altri problemi di corrispondenza): abbinare indirizzi, film, elenchi di parti e così via. In generale, se un essere umano può esaminare le righe del database e determinare che corrispondono, c'è una buona possibilità che la trasformazione FindMatches possa essere utile.

Il file potrebbe non aprirsi con le colonne dei campi completamente espanse. Per visualizzare i contenuti di tali celle, potrebbe essere necessario espandere le colonne labeling_set_id e label.

Se la colonna chiave primaria è un numero, ad esempio un tipo di dato long, il foglio di calcolo potrebbe interpretarlo come un numero e modificarne il valore. Questo valore chiave deve essere trattato come un testo. Per risolvere il problema, formattare tutte le celle nella colonna chiave primaria come Text data (Formato testo).

Si tratta di un file di valori separati da virgola (CSV).

Deve essere codificato in UTF-8. Se il file è stato modificato con Microsoft Windows, potrebbe essere codificato con cp1252.

Affinché possa essere passato a AWS Glue è necessario che si trovi su Amazon S3.

Utilizza un numero modesto di righe per ogni attività di etichettatura. Sono consigliate 10-20 righe per attività, anche se 2-30 righe per attività sono accettabili. Le attività superiori a 50 righe non sono consigliate e potrebbero causare risultati scadenti o errori di sistema.

Se si dispone di dati già etichettati costituiti da coppie di record etichettati come "corrispondenza" o "nessuna corrispondenza", questo va bene. Queste coppie etichettate possono essere rappresentate come set di etichettatura di dimensione 2. In questo caso etichettare entrambi i record con, ad esempio, una lettera "A" se corrispondono, ma etichettare uno come "A" e uno come "B" se non corrispondono.

Le prime due colonne (labeling_set_id, label) sono richieste obbligatoriamente da AWS Glue. Le colonne rimanenti devono corrispondere allo schema dei dati che devono essere elaborati.

Per ogni labeling_set_id, è necessario identificare tutti i record corrispondenti utilizzando la stessa etichetta. Un'etichetta è una stringa univoca posizionata nella colonna label. Consigliamo di usare etichette contenenti caratteri semplici, ad esempio A, B, C e così via. Le etichette considerano in modo differente le maiuscole dalle minuscole e vengono inserite nella colonna label.

Le righe che contengono lo stesso labeling_set_id e la stessa etichetta si intendono etichettate come corrispondenza.

Le righe che contengono lo stesso labeling_set_id e un'etichetta diversa si intendono etichettate come non una corrispondenza

Le righe che contengono un labeling_set_id diverso non trasmettono alcuna informazione a favore o contro la corrispondenza.

Di seguito è riportato un esempio di etichettatura dei dati:

Nell'esempio precedente identifichiamo John/Johnny/Jon Doe come una corrispondenza e insegniamo al sistema che questi record non corrispondono a Jane Smith. Separatamente, insegniamo al sistema che Richard e Rich Jones sono la stessa persona, ma che questi dischi non corrispondono a Sarah Jones/Jones-Walker e Richie Jones Jr.

Come si può vedere, l'ambito delle etichette è limitato al labeling_set_id. Quindi le etichette non attraversano i limiti imposti dal labeling_set_id. Ad esempio, un'etichetta "A" nel labeling_set_id 1 non ha alcuna relazione con l'etichetta "A" nel labeling_set_id 2.

Se un record non ha alcuna corrispondenza all'interno di un set di etichette, assegnargli un'etichetta univoca. Ad esempio, Jane Smith non corrisponde ad alcun record nel set di etichettatura ABC123, quindi è l'unico record in quel set di etichettatura con l'etichetta di B.

Il set di etichettatura "GHI678" mostra che un set di etichettatura può essere costituito da solo due record che hanno la stessa etichetta per mostrare che corrispondono. Allo stesso modo, "XYZABC" mostra due record con etichette diverse per mostrare che non corrispondono.

Si noti che a volte un set di etichette non può contenere corrispondenze (ovvero, si attribuisce a ogni record nel set di etichette un'etichetta diversa) o un set di etichette potrebbe essere "uguale" (ad essi è stata assegnata la stessa etichetta). Questo va bene fintanto che i set di etichettatura contengono collettivamente esempi di record "uguali" o "non uguali" secondo i propri criteri.