Correspondance d'enregistrements avec FindMatches AWS Lake Formation

Correspondance de clients : liaison des enregistrements clients entre différentes bases de données client, même lorsque de nombreux champs client ne correspondent pas exactement entre les bases de données (par exemple, orthographe de nom différentes, adresses différentes, données manquantes ou inexactes, etc.).

Correspondance de produits : correspondance des produits de votre catalogue par rapport à d'autres sources de produits, telle qu'un catalogue de produits par rapport au catalogue d'un concurrent, où les entrées sont structurées différemment.

Amélioration de la détection des fraudes : identification de comptes client en double, afin de déterminer quand un nouveau compte est (ou peut être) une correspondance pour un utilisateur frauduleux précédemment connu.

Autres problèmes de correspondance : correspondance d'adresses, de films, de listes de pièces, etc. En général, si un être humain peut regarder les lignes de votre base de données et déterminer qu'il existe une correspondance, il y a de très fortes chances que la transformation FindMatches puisse vous aider.

Le fichier peut ne pas s'ouvrir avec les champs de colonne entièrement développés. Vous devrez peut-être développer les colonnes label et labeling_set_id pour voir le contenu de ces cellules.

Si la colonne de clé primaire comporte un nombre, comme un type de données long, la feuille de calcul peut l'interpréter comme un nombre et modifier la valeur. La valeur de cette clé doit être traitée en tant que texte. Pour corriger ce problème, définissez le format Texte pour toutes les cellules de la colonne de clé primaire.

Il s'agit d'un fichier CSV (valeurs séparées par des virgules).

Il doit être encodé en UTF-8. Si vous modifiez le fichier à l'aide de Microsoft Windows, il peut être encodé avec cp1252.

Il doit se trouver dans un emplacement Amazon S3 pour sa transmission à AWS Glue.

Utilisez un nombre modéré de lignes pour chaque tâche d'étiquetage. Il est recommandé d'utiliser 10 à 20 lignes par tâche, même si 2 à 30 lignes par tâche sont acceptées. Les tâches de plus de 50 lignes ne sont pas recommandées et peuvent entraîner de mauvais résultats ou une défaillance du système.

Si vous disposez de données composées de paires d'enregistrements déjà marqués comme « correspondants » ou « non correspondants », cela ne pose pas de problème. Ces paires étiquetées peuvent être représentées sous forme de jeux d'étiquetage de taille 2. Dans ce cas, labélisez les deux enregistrements avec, par exemple, la lettre « A » s'ils correspondent, ou labélisez l'une avec la lettre « A » et l'autre avec la lettre « B » s'ils ne correspondent pas.

Les deux premières colonnes (labeling_set_id, label) sont requises par AWS Glue. Les colonnes restantes doivent correspondre au schéma des données à traiter.

Pour chaque labeling_set_id, vous identifiez tous les enregistrements correspondants à l'aide de la même étiquette. Une étiquette est une chaîne unique placée dans la colonne label. Nous vous recommandons d'utiliser les étiquettes contenant des caractères simples, par exemple A, B, C, et ainsi de suite. Les étiquettes sont sensibles à la casse et sont saisies dans la colonne label.

Les lignes qui contiennent le même labeling_set_id et la même étiquette sont considérées comme formant une correspondance.

Les lignes qui contiennent le même labeling_set_id et une étiquette différente sont considérées comme ne formant pas une correspondance.

Les lignes qui contiennent un labeling_set_id différent sont considérées comme ne fournissant aucune information pour ou contre la correspondance.

Voici un exemple d'étiquetage de données :

Dans l'exemple ci-dessus, nous identifions John/Johnny/Jon Doe comme étant une correspondance et nous enseignons au système que ces enregistrements ne correspondent pas à Jane Smith. En parallèle, nous apprenons au système que Richard et Rich Jones sont la même personne, mais que ces enregistrements ne correspondent pas à Sarah Jones/Jones-Walker et Richie Jones Jr.

Comme vous pouvez le voir, la portée des étiquettes est limitée à l'élément labeling_set_id. Ainsi, les étiquettes ne dépassent pas les limites de labeling_set_id. Par exemple, une étiquette « A » dans labeling_set_id 1 n'a aucune relation avec l'étiquette « A » dans labeling_set_id 2.

Si un enregistrement n'a aucune correspondance dans un jeu d'étiquettes, affectez-lui une étiquette unique. Par exemple, Jane Smith ne correspond à aucun enregistrement du jeu d'étiquettes ABC123, c'est donc le seul enregistrement de ce jeu d'étiquettes avec l'étiquette de B.

Le jeu d'étiquettes « GHI678 » montre qu'un jeu d'étiquettes peut se composer de seulement deux enregistrements portant la même étiquette pour montrer qu'ils correspondent. De même, « XYZABC » montre deux enregistrements portant des étiquettes différentes pour montrer qu'ils ne correspondent pas.

Notez que parfois un jeu d'étiquetage peut ne pas contenir de correspondances (c'est-à-dire que vous donnez à chaque enregistrement du jeu d'étiquetage une étiquette différente) ou qu'un jeu d'étiquetage peut être globalement « identique » (vous leur donnez le même label). Ceci est correct tant que vos jeux d'étiquetage contiennent collectivement des exemples d'enregistrements qui sont et ne sont pas « identiques » selon vos critères.