Correspondência de registros com o FindMatches do AWS Lake Formation

Matching customers (Correspondência de clientes): vinculação de registros de clientes em diferentes bancos de dados de clientes, mesmo quando muitos campos de clientes não correspondem exatamente entre os bancos de dados (por exemplo, grafia diferente do nome, diferenças de endereço, dados ausentes ou imprecisos etc.).

Matching products (Correspondência de produtos): correspondência de produtos em seu catálogo com relação a outras fontes de produtos, como catálogo de produtos com relação ao catálogo de um concorrente, onde as entradas são estruturadas de outra forma.

Improving fraud detection (Melhoria da detecção de fraudes): identificação de contas de clientes duplicadas, determinação de quando uma conta recém-criada é (ou pode ser) correspondente a um usuário fraudulento conhecido anteriormente.

Other matching problems (Outros problemas de correspondência): correspondência de endereços, filmes, listas de peças etc. Em geral, se um ser humano conseguir olhar suas linhas de banco de dados e determinar se elas são uma correspondência, haverá uma boa chance de que a transformação FindMatches possa ajudá-lo.

O arquivo pode não abrir com os campos de coluna totalmente expandidos. Pode ser necessário expandir as colunas labeling_set_id e label para ver o conteúdo dessas células.

Se a coluna de chave primária for um número, como um tipo de dados long, a planilha poderá interpretá-la como um número e alterar o valor. Esse valor de chave deve ser tratado como texto. Para corrigir esse problema, formate todas as células da coluna de chave primária como Text data (Dados de texto).

É um arquivo de valores separados por vírgulas (CSV).

Deve estar codificado em UTF-8. Se você editar o arquivo usando o Microsoft Windows, ele poderá ser codificado com cp1252.

Ele deve estar em um local do Amazon S3 para ser transmitido ao AWS Glue.

Use uma quantidade moderada de linhas para cada tarefa de rotulagem. Recomenda-se 10 a 20 linhas por tarefa, embora 2 a 30 linhas por tarefa seja aceitável. Tarefas com mais de 50 linhas não são recomendadas e podem gerar resultados insatisfatórios ou uma falha no sistema.

Caso já tenha dados rotulados que consistam em pares de registros rotulados como “correspondência” ou “não correspondência”, não há problema. Esses pares rotulados podem ser representados como conjuntos de rótulos de tamanho 2. Nesse caso, rotule ambos os registros com, por exemplo, uma letra “A” caso haja correspondência, e rotule um como “A” e outro como “B” caso não haja correspondência.

As duas primeiras colunas (labeling_set_id e label) são exigidas pelo AWS Glue. As colunas restantes devem corresponder ao esquema dos dados a serem processados.

Para cada labeling_set_id, identifique todos os registros correspondentes usando o mesmo rótulo. Um rótulo é uma string exclusiva colocada na coluna label. Recomendamos o uso de rótulos que contenham caracteres simples, como A, B, C e assim por diante. Os rótulos diferenciam letras maiúsculas de minúsculas e são inseridos na coluna label.

As linhas que contêm o mesmo labeling_set_id e o mesmo rótulo são rotuladas como uma correspondência.

As linhas que contêm o mesmo labeling_set_id e um rótulo diferente são rotuladas como uma não correspondência.

As linhas que contêm um labeling_set_id diferente não têm informações que confirmam ou rejeitam a correspondência.

Veja a seguir um exemplo de rotulamento dos dados:

No exemplo acima, identificamos John/Johnny/Jon Doe como sendo uma correspondência e ensinamos o sistema que esses registros não correspondem a Jane Smith. Separadamente, ensinamos ao sistema que Richard e Rich Jones são a mesma pessoa, mas esses registros não correspondem a Sarah Jones/Jones-Walker e Richie Jones Jr.

Como pode ver, o escopo dos rótulos está limitado ao labeling_set_id. Portanto, os rótulos não cruzam os limites de labeling_set_id. Por exemplo, um rótulo "A" em labeling_set_id 1 não tem nenhuma relação com o rótulo "A" em labeling_set_id 2.

Se um registro não tiver correspondências dentro de um conjunto de rótulos, atribua um rótulo exclusivo ao registro. Por exemplo, Jane Smith não corresponde a qualquer registro no conjunto de rótulos ABC123, portanto, é o único registro nesse conjunto com o rótulo B.

O conjunto de rótulos “GHI678” mostra que um conjunto de rótulos pode consistir em apenas dois registros, que recebem o mesmo rótulo para indicar a correspondência. Da mesma forma, “XYZABC” mostra dois registros com rótulos diferentes para indicar que não são correspondentes.

Observe que, às vezes, um conjunto de rótulos pode não conter correspondências (ou seja, você atribui um rótulo diferente para cada registro dentro do conjunto de rótulos) ou todos os registros do conjunto de rótulos são “iguais” (todos recebem o mesmo rótulo). Isso não é um problema, contanto que os conjuntos de rótulos coletivamente contenham exemplos de registros que sejam e que não sejam “iguais” de acordo com seus critérios.