AWS Lake Formation FindMatches によるレコードのマッチング

一致する顧客: 多くの顧客フィールドがデータベース間で正確に一致しない場合でも（名前のスペルや住所の違い、データの欠落や不正確ななど）、異なる顧客データベース間で顧客レコードをリンクします。

製品のマッチング: カタログ内の製品を、競合他社のカタログに対する製品カタログなど、他の製品ソースと照合します。エントリの構造は異なります。

不正検出の向上: 重複した顧客アカウントを特定し、新しく作成したアカウントが、以前に知られている不正ユーザーと一致する（またはその可能性のある）タイミングを判断します。

マッチングに関するその他の問題: マッチアドレス、映画、パーツリストなど。一般的に、人間がデータベース行を見て、それらが一致していると判断した場合、FindMatches 変換が役に立つ可能性は非常にあります。

ファイルを開いたときに、列フィールドが完全に展開されていない場合があります。必要に応じて labeling_set_id 列と label 列を展開し、これらのセルの内容を表示してください。

プライマリキー列が数値 (long データ型など) である場合、スプレッドシートはこれを数値として解釈し、値を変更する場合があります。このキー値は、テキストとして扱う必要があります。この問題を修正するには、プライマリキー列のすべてのセルを テキストデータとしてフォーマットします。

これは、カンマ区切り値 (CSV) ファイルです。

UTF-8 でエンコードする必要があります。Microsoft Windows を使用してファイルを編集すると、ファイルは cp1252 でエンコードされる場合があります。

このファイルを AWS Glue に渡すには、ファイルを Amazon S3 の場所に配置する必要があります。

各ラベル付けタスクに使用する行は多すぎないようにします。タスクごとに許容される行数は 2～30 行ですが、10～20 行をお勧めします。50 行を超えるタスクは推奨されません。粗悪な結果やシステム障害を引き起こす可能性があります。

「一致」または「不一致」とラベリングされたレコードのペアで構成される、ラベリングされたデータがすでにある場合、これは問題ありません。これらのラベリングされたペアは、サイズ 2 のラベリングセットとして表すことができます。この場合、両方のレコードに一致する場合は文字「A」とラベリングし、一致しない場合は「Ｂ」とラベリングします。

最初の 2 つの列 (labeling_set_id、label) は AWS Glue の必須列です。残りの列は、処理するデータのスキーマと一致する必要があります。

labeling_set_id ごとに、同じラベルを使用してすべての一致するレコードを特定します。ラベルは label 列に配置されている一意の文字列です。シンプルな文字 (A、B、C など) を含むラベルを使用することをお勧めします。ラベルは、大文字と小文字が区別され、 label 列に入力されます。

同じ labeling_set_id と同じラベルを含む行は、一致とみなされ、ラベリングされます。

同じ labeling_set_id と異なるラベルを含む行は、不一致とみなされ、ラベリングされます。

異なる labeling_set_id を含む行は、一致に関するいかなる情報も伝達しないとみなされます。

以下に示しているのは、データのラベル付けの例です。

上記の例では、John/Johnny/Jon Doe を一致と認識し、これらのレコードは Jane Smith と一致しないことをシステムにトレーニングします。これとは別に、Richard と Rich Jones は同一人物であるが、これらのレコードは Sarah Jones/Jones-Walker および Jones Jr. とは一致しないとシステムをトレーニングします。

ご覧のとおり、ラベルの範囲は labeling_set_id に制限されています。したがって、ラベルは labeling_set_id 境界を超えません。たとえば、labeling_set_id 1 のラベル「A」は、labeling_set_id 2 のラベル「A」とは何の関係もありません。

ラベリングセット内に一致するものがほかにないレコードには、一意のラベルを割り当てます。たとえば、Jane Smith はラベリングセット ABC123 内のどのレコードとも一致しないため、そのラベリングセット内で唯一の、ラベル B を持つレコードです。

ラベリングセット「GHI678」は、ラベリングセットが、同じラベルが付与された 2 つのレコードのみで構成されることを表示し、一致していることを示します。同様に、「XYZABC」は、異なるラベルが付与された 2 つのレコードを表示し、一致しないことを示します。

ラベリングセットには一致が含まれていないこと（ラベリングセット内のレコードそれぞれに異なるラベルを付ける）も、ラベリングセットがすべて「同じ」こと（すべてに同じラベルを付けた）もあります。これは、ラベリングセットに、基準によって「同じ」レコードと「同じでない」レコードの例がまとめて含まれている限り、問題ありません。