Erstellen eines regelbasierten Matching-Workflows mit dem Regeltyp „Erweitert“

Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die AWS Entity Resolution Konsole unter https://console.aws.amazon.com/entityresolution/.

Wählen Sie im linken Navigationsbereich unter Workflows die Option Matching aus.

Wählen Sie auf der Seite Passende Workflows in der oberen rechten Ecke die Option Passenden Workflow erstellen aus.

Gehen Sie für Schritt 1: Passende Workflow-Details angeben wie folgt vor:

1. Geben Sie einen passenden Workflow-Namen und optional eine Beschreibung ein.

2. Wählen Sie für die Dateneingabe eine AWS Glue Datenbank AWS-Region, die AWS Glue Tabelle und dann die entsprechende Schemazuordnung aus.

   Sie können bis zu 19 Dateneingaben hinzufügen.

   Anmerkung

   Um erweiterte Regeln verwenden zu können, müssen Ihre Schemazuordnungen die folgenden Anforderungen erfüllen:

   1. Jedes Eingabefeld muss einem eindeutigen Vergleichsschlüssel zugeordnet werden, es sei denn, die Felder sind gruppiert.

   2. Wenn Eingabefelder gruppiert sind, können sie denselben Vergleichsschlüssel verwenden.

      Die folgende Schemazuordnung wäre beispielsweise für erweiterte Regeln gültig:

      firstName: { matchKey: 'name', groupName: 'name' }

      lastName: { matchKey: 'name', groupName: 'name' }

      In diesem Fall sind die lastName Felder firstName und zusammen gruppiert und haben denselben Namensvergleichsschlüssel, was zulässig ist.

      Überprüfen Sie Ihre Schemazuordnungen und aktualisieren Sie sie so, dass sie dieser Eins-zu-Eins-Abgleichsregel folgen, sofern die Felder nicht richtig gruppiert sind, um erweiterte Regeln zu verwenden.

   3. Wenn Ihre Datentabelle eine DELETE-Spalte hat, muss der Typ der Schemazuordnung sein String und Sie können kein matchKey und habengroupName.

3. Die Option Daten normalisieren ist standardmäßig ausgewählt, sodass Dateneingaben vor dem Abgleich normalisiert werden. Wenn Sie Daten nicht normalisieren möchten, deaktivieren Sie die Option Daten normalisieren.

   Anmerkung

   Die Normalisierung wird unter Schema-Mapping erstellen nur für die folgenden Szenarien unterstützt:

   • Wenn die folgenden Namensuntertypen gruppiert sind: Vorname, zweiter Vorname, Nachname.

   • Wenn die folgenden Adressuntertypen gruppiert sind: Straße 1, Straße 2, Straße 3, Stadt, Bundesland, Land , Postleitzahl.

   • Wenn die folgenden Telefonuntertypen gruppiert sind: Telefonnummer, Telefonvorwahl.

4. Um die Zugriffsberechtigungen für den Dienst festzulegen, wählen Sie eine Option aus und ergreifen Sie die empfohlene Aktion.

   Option	Empfohlene Aktion
   Erstellen und verwenden Sie eine neue Servicerolle	AWS Entity Resolution erstellt eine Servicerolle mit der erforderlichen Richtlinie für diese Tabelle. Der Standardname für die Servicerolle lautetentityresolution-matching-workflow-<timestamp>. Sie müssen über Berechtigungen verfügen, um Rollen zu erstellen und Richtlinien anzuhängen. Wenn Ihre Eingabedaten verschlüsselt sind, können Sie die Option Diese Daten sind mit einem KMS-Schlüssel verschlüsselt auswählen und dann einen AWS KMS Schlüssel eingeben, der zum Entschlüsseln Ihrer Dateneingabe verwendet wird.
   Verwenden Sie eine vorhandene Servicerolle	Wählen Sie einen vorhandenen Servicerollennamen aus der Dropdownliste aus. Die Liste der Rollen wird angezeigt, wenn Sie berechtigt sind, Rollen aufzulisten. Wenn Sie nicht berechtigt sind, Rollen aufzulisten, können Sie den Amazon-Ressourcennamen (ARN) der Rolle eingeben, die Sie verwenden möchten. Wenn keine Servicerollen vorhanden sind, ist die Option „Eine vorhandene Servicerolle verwenden“ nicht verfügbar. Zeigen Sie die Servicerolle an, indem Sie auf den externen Link In IAM anzeigen klicken. Versucht standardmäßig AWS Entity Resolution nicht, die bestehende Rollenrichtlinie zu aktualisieren, um die erforderlichen Berechtigungen hinzuzufügen.

5. (Optional) Um Tags für die Ressource zu aktivieren, wählen Sie Neues Tag hinzufügen aus und geben Sie dann das Schlüssel-Wert-Paar ein.

6. Wählen Sie Weiter aus.

Für Schritt 2: Wählen Sie das passende Verfahren aus:

1. Wählen Sie als Vergleichsmethode die Option Rule-based Abgleich aus.

2. Wählen Sie als Regeltyp die Option Erweitert aus.

   

3. Wählen Sie unter Verarbeitungsrhythmus eine der folgenden Optionen aus.

   • Wählen Sie Manuell, um einen Workflow bei Bedarf für eine Massenaktualisierung auszuführen

   • Wählen Sie Automatisch, um einen Workflow auszuführen, sobald sich neue Daten in Ihrem S3-Bucket befinden

   Anmerkung

   Wenn Sie Automatisch wählen, stellen Sie sicher, dass Sie EventBridge Amazon-Benachrichtigungen für Ihren S3-Bucket aktiviert haben. Anweisungen zur Aktivierung EventBridge von Amazon mithilfe der S3-Konsole finden Sie unter Enabling Amazon EventBridge im Amazon S3-Benutzerhandbuch.

4. Geben Sie für Übereinstimmungsregeln einen Regelnamen ein und erstellen Sie dann die Regelbedingung, indem Sie die entsprechenden passenden Funktionen und Operatoren aus der Dropdownliste auswählen, die Ihrem Ziel entsprechen.

   Sie können bis zu 25 Regeln erstellen.

   Anmerkung

   AWS Entity Resolution unterstützt auch transitiven Abgleich, bei dem Datensätze auf allen Regelebenen verarbeitet werden, um Übereinstimmungsgruppen transitiv zu verbinden. Transitiver Abgleich ist als Funktion verfügbar. API-only Wenn transitiver Abgleich aktiviert ist, wird der Modifikator EmptyValues =Ignore nicht unterstützt. Weitere Informationen finden Sie unter Verwendung von transitivem Matching.

   Sie müssen eine Fuzzy-Matching-Funktion (Cosine, Levenshtein oder Soundex) mit einer Exact-Matching-Funktion (Exact,) mithilfe des AND-Operators kombinieren. ExactManyToMany

   Anhand der folgenden Tabelle können Sie je nach Ihrem Ziel entscheiden, welche Art von Funktion oder Operator Sie verwenden möchten.

   Ihr Ziel	Empfohlene Funktion oder Bediener	Empfohlener optionaler Modifikator	Vorteile
   Ordnen Sie identische Zeichenfolgen mit genauen Daten zu, passen Sie jedoch nicht zu leeren Werten.	Exact (Genau)	EmptyValues=Prozess
   Ordne identische Zeichenketten den korrekten Daten zu und ignoriere leere Werte.	Exakt (matchKey)	EmptyValues=Ignorieren
   Ordnet mehrere Datensätze mit den passenden Schlüsseln zu. Geeignet für flexible Kombinationen. Limit: 15 Kombinationsschlüssel	ExactManyToMany(matchKey, matchKey, ...)	n/a
   Misst die Ähnlichkeit zwischen numerischen Repräsentationen von Daten, ohne dass bei leeren Werten eine Übereinstimmung erzielt wird. Geeignet für Text, Zahlen oder eine Mischung aus beidem.	Kosinus	EmptyValues=Prozess	Einfach, effizient. Funktioniert gut mit langem Text, wenn er mit TF-IDF Gewichtung kombiniert wird. Gut für exakte wortbasierte Übereinstimmungen.
   Messen Sie die Ähnlichkeit zwischen numerischen Darstellungen von Daten und ignorieren Sie leere Werte.	Kosinus (matchKey,threshold,...)	EmptyValues=Ignorieren	Behandelt Tippfehler, Rechtschreibfehler und Transpositionen gut. Wirksam bei einer Vielzahl von PII-Typen. Gut für kurze Zeichenketten (z. B. Namen oder Telefonnummern).
   Zählen Sie die Mindestanzahl der Änderungen, die erforderlich sind, um ein Wort in ein anderes zu ändern, aber passen Sie nicht mit leeren Werten zusammen. Geeignet für Text mit leichten Unterschieden in der Schreibweise.	Levenshtein	EmptyValues=Prozess
   Zählen Sie die Mindestanzahl der Änderungen, die erforderlich sind, um ein Wort in ein anderes umzuwandeln, und ignorieren Sie leere Werte.	Levenshtein (matchKey,,threshold...)	EmptyValues=Ignorieren
   Vergleichen und vergleichen Sie Textzeichenfolgen danach, wie ähnlich sie klingen, aber bei leeren Werten stimmen sie nicht überein. Geeignet für Text mit Variationen in der Schreibweise oder Aussprache.	Soundex	EmptyValues=Prozess	Effektiv für den phonetischen Abgleich, um ähnlich klingende Wörter zu identifizieren. Schnell und rechnerisch kostengünstig. Gut geeignet, um Namen mit ähnlicher Aussprache, aber unterschiedlicher Schreibweise abzugleichen.
   Vergleichen und ordnen Sie Textzeichenfolgen danach, wie ähnlich sie klingen, und ignorieren Sie leere Werte.	Soundex () matchKey	EmptyValues=Ignorieren
   Funktionen kombinieren.	UND	n/a
   Separate Funktionen.	ODER	n/a
   Gruppieren Sie Bedingungen, um verschachtelte Bedingungen zu erstellen.	(…)	n/a

   Beispiel Regelbedingung, die auf Telefonnummern und E-Mails zutrifft

   Im Folgenden finden Sie ein Beispiel für eine Regelbedingung, die Datensätze zu Telefonnummern (Vergleichsschlüssel für Telefonnummern) und E-Mail-Adressen (Vergleichstaste für E-Mail-Adressen) abgleicht:

   Exact(Phone,EmptyValues=Process) AND Levenshtein("Email address",2)

   

   Die Taste „Telefonabgleich“ verwendet die Funktion „Exakte Übereinstimmung“, um identische Zeichenfolgen abzugleichen. Die Taste „Telefonabgleich“ verarbeitet leere Werte beim Abgleich mithilfe des Modifikators EmptyValues =Process.

   Der Schlüssel „E-Mail-Adresse abgleichen“ verwendet die Levenshtein-Matching-Funktion, um Daten mit Rechtschreibfehlern abzugleichen. Dabei wird der Standardschwellenwert 2 für den Levenshtein-Entfernungsalgorithmus verwendet. Der Suchschlüssel „E-Mail“ verwendet keine optionalen Modifikatoren.

   Der AND-Operator kombiniert die Exact-Matching-Funktion und die Levenshtein-Matching-Funktion.

   Beispiel Regelbedingung, die verwendet wird, um den ExactManyToMany Matchkey-Abgleich durchzuführen

   Im Folgenden finden Sie ein Beispiel für eine Regelbedingung, die Datensätze in drei Adressfeldern (HomeAddressVergleichsschlüssel, BillingAddress Vergleichsschlüssel und ShippingAddress Vergleichsschlüssel) vergleicht, um potenzielle Übereinstimmungen zu finden, indem überprüft wird, ob einige davon identische Werte haben.

   Der ExactManyToMany Operator wertet alle möglichen Kombinationen der angegebenen Adressfelder aus, um genaue Übereinstimmungen zwischen zwei oder mehr Adressen zu ermitteln. Beispielsweise würde er erkennen, ob die Adresse entweder dem BillingAddress oder HomeAddress entsprichtShippingAddress, oder ob alle drei Adressen exakt übereinstimmen.

   ExactManyToMany(HomeAddress, BillingAddress, ShippingAddress)

   Beispiel Regelbedingung, die Clustering verwendet

   Beim erweiterten regelbasierten Abgleich mit Fuzzy-Bedingungen gruppiert das System Datensätze zunächst anhand exakter Übereinstimmungen in Cluster. Sobald diese ersten Cluster gebildet sind, wendet das System Fuzzy-Matching-Filter an, um weitere Treffer innerhalb jedes Clusters zu identifizieren. Für eine optimale Leistung sollten Sie auf der Grundlage Ihrer Datenmuster exakte Übereinstimmungsbedingungen auswählen, um klar definierte Anfangscluster zu erstellen.

   Im Folgenden finden Sie ein Beispiel für eine Regelbedingung, die mehrere exakte Übereinstimmungen mit einer Fuzzy-Match-Anforderung kombiniert. Es verwendet AND Operatoren, um zu überprüfenFullName, ob die drei Felder — Geburtsdatum (DOB) und Address — zwischen den Datensätzen exakt übereinstimmen. Es ermöglicht auch geringfügige Variationen im InternalID Feld unter Verwendung einer Levenshtein-Distanz von. 1 Die Levenshtein-Distanz misst die Mindestanzahl von Änderungen an einem Zeichen, die erforderlich sind, um eine Zeichenfolge in eine andere umzuwandeln. Ein Abstand von 1 bedeutet, InternalIDs dass es sich um Übereinstimmungen handelt, die sich nur um ein Zeichen unterscheiden (wie ein einziger Tippfehler, Löschen oder Einfügen). Diese Kombination von Bedingungen hilft bei der Identifizierung von Datensätzen, die mit großer Wahrscheinlichkeit dieselbe Entität repräsentieren, selbst wenn der Bezeichner kleine Abweichungen aufweist.

   Exact(FullName) AND Exact(DOB) AND Exact(Address) and Levenshtein(InternalID, 1)

5. Wählen Sie Weiter aus.

Für Schritt 3: Geben Sie die Datenausgabe und das Format an:

1. Wählen Sie für Datenausgabeziel und -format den Amazon S3-Speicherort für die Datenausgabe aus und geben Sie an, ob das Datenformat Normalisierte Daten oder Originaldaten sein soll.

2. Wenn Sie unter Verschlüsselung die Verschlüsselungseinstellungen anpassen möchten, geben Sie den AWS KMS Schlüssel-ARN ein.

3. Sehen Sie sich die vom System generierte Ausgabe an.

4. Entscheiden Sie für die Datenausgabe, welche Felder Sie einbeziehen, ausblenden oder maskieren möchten, und ergreifen Sie dann die empfohlenen Maßnahmen, die auf Ihren Zielen basieren.

   Ihr Ziel	Empfohlene Aktion
   Felder einbeziehen	Behalten Sie den Ausgabestatus „Eingeschlossen“ bei.
   Felder ausblenden (von der Ausgabe ausschließen)	Wählen Sie das Ausgabefeld aus und wählen Sie dann Ausblenden.
   Felder maskieren	Wählen Sie das Ausgabefeld und dann Hash-Ausgabe.
   Setzen Sie die vorherigen Einstellungen zurück	Klicken Sie auf Reset (Zurücksetzen).

5. Wählen Sie Weiter aus.

Für Schritt 4: Prüfen und erstellen Sie:

1. Überprüfen Sie die Auswahl, die Sie für die vorherigen Schritte getroffen haben, und bearbeiten Sie sie gegebenenfalls.

2. Wählen Sie Create and run aus.

   Es wird eine Meldung angezeigt, die darauf hinweist, dass der entsprechende Workflow erstellt und der Job gestartet wurde.

Sehen Sie sich auf der Seite mit den Details des passenden Workflows auf der Registerkarte Metriken unter Letzte Job-Metriken Folgendes an:

Sie können auch die Job-Metriken für übereinstimmende Workflow-Jobs, die zuvor ausgeführt wurden, im Auftragsverlauf anzeigen.

Nachdem der passende Workflow-Job abgeschlossen ist (Status ist abgeschlossen), können Sie zur Registerkarte Datenausgabe wechseln und dann Ihren Amazon S3-Standort auswählen, um die Ergebnisse anzuzeigen.

(Nur manueller Verarbeitungstyp) Wenn Sie einen Rule-based passenden Workflow mit dem Verarbeitungstyp Manuell erstellt haben, können Sie den passenden Workflow jederzeit ausführen, indem Sie auf der Seite mit den passenden Workflow-Details die Option Workflow ausführen auswählen.

(Nur automatische Verarbeitungsart) Wenn Ihre Datentabelle eine DELETE-Spalte enthält, dann:

Weitere Informationen finden Sie unter Schritt 1: Bereiten Sie Datentabellen von Erstanbietern vor.

Öffnen Sie ein Terminal oder eine Eingabeaufforderung, um die API-Anfrage zu stellen.

Erstellen Sie eine POST-Anfrage an den folgenden Endpunkt:

/matchingworkflows

Stellen Sie im Anforderungsheader das Content-type auf ein application/json.

Geben Sie für den Anforderungstext die folgenden erforderlichen JSON-Parameter an:

{
   "description": "string",
   "incrementalRunConfig": { 
      "incrementalRunType": "string"
   },
   "inputSourceConfig": [ 
      { 
         "applyNormalization": boolean,
         "inputSourceARN": "string",
         "schemaName": "string"
      }
   ],
   "outputSourceConfig": [ 
      { 
         "applyNormalization": boolean,
         "KMSArn": "string",
         "output": [ 
            { 
               "hashed": boolean,
               "name": "string"
            }
         ],
         "outputS3Path": "string"
      }
   ],
   "resolutionTechniques": { 
      "providerProperties": { 
         "intermediateSourceConfiguration": { 
            "intermediateS3Path": "string"
         },
         "providerConfiguration": JSON value,
         "providerServiceArn": "string"
      },
      "resolutionType": "RULE_MATCHING",
      "ruleBasedProperties": { 
         "attributeMatchingModel": "string",
         "matchPurpose": "string",
         "rules": [ 
            { 
               "matchingKeys": [ "string" ],
               "ruleName": "string"
            }
         ]
      },
      "ruleConditionProperties": { 
         "rules": [ 
            { 
               "condition": "string",
               "ruleName": "string"
            }
         ]
      }
   },
   "roleArn": "string",
   "tags": { 
      "string" : "string" 
   },
   "workflowName": "string"
}

Wobei Folgendes gilt:

Zu den optionalen Parametern gehören:

(Optional) Um die inkrementelle Verarbeitung anstelle der standardmäßigen Standardverarbeitung (Batch) zu verwenden, fügen Sie dem Anforderungstext den folgenden Parameter hinzu:

"incrementalRunConfig": {
   "incrementalRunType": "AUTOMATIC"
}

Senden Sie die Anforderung .

Bei Erfolg erhalten Sie eine Antwort mit dem Statuscode 200 und einem JSON-Text, der Folgendes enthält:

{
   "workflowArn": "string",
   "workflowName": "string",
   // Plus all configured workflow details
}

Wenn der Anruf nicht erfolgreich ist, erhalten Sie möglicherweise eine der folgenden Fehlermeldungen: