Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Validierung der Datenqualität in AWS Glue DataBrew

Um die Qualität Ihrer Datensätze sicherzustellen, können Sie eine Liste von Datenqualitätsregeln in einem Regelsatz definieren. Ein Regelsatz ist ein Regelsatz, der verschiedene Datenmetriken mit erwarteten Werten vergleicht. Wenn eines der Kriterien einer Regel nicht erfüllt ist, schlägt die Überprüfung des gesamten Regelsatzes fehl. Sie können dann die einzelnen Ergebnisse für jede Regel überprüfen. Für jede Regel, die zu einem Validierungsfehler führt, können Sie die erforderlichen Korrekturen vornehmen und die Überprüfung erneut durchführen.

Zu den Regeln gehören beispielsweise die folgenden:

Sie können jede Regel für eine einzelne Spalte definieren oder sie unabhängig voneinander auf mehrere ausgewählte Spalten anwenden, zum Beispiel:

Eine Regel kann aus mehreren einfachen Prüfungen bestehen. Sie können definieren, ob alle wahr oder beliebig sein sollen, zum Beispiel:

Sie können Regeln entweder anhand von Aggregatwerten wiemax,min, oder anhand number of duplicate values derer nur ein Wert verglichen wird, oder anhand von nicht aggregierten Werten in jeder Zeile einer Spalte überprüfen. In letzterem Fall können Sie auch einen Schwellenwert definieren, bei dem die Anforderungen erfüllt werden, z. value in columnA > value in columnB for at least 95% of rows

Wie bei Profilinformationen können Sie Datenqualitätsregeln auf Spaltenebene nur für Spalten einfacher Typen wie Zeichenfolgen und Zahlen definieren. Sie können keine Datenqualitätsregeln für Spalten komplexer Typen wie Arrays oder Strukturen definieren. Weitere Informationen zum Arbeiten mit Profilinformationen finden Sie unterErstellen und Arbeiten mit AWS Glue DataBrew Jobs profilieren.

Datenqualitätsregeln validieren

Nachdem ein Regelsatz definiert wurde, können Sie ihn zur Überprüfung zu einem Profiljob hinzufügen. Sie können mehr als einen Regelsatz für einen Datensatz definieren.

Beispielsweise kann ein Regelsatz Regeln mit minimal akzeptablen Kriterien enthalten. Wenn die Überprüfung für diesen Regelsatz fehlschlägt, kann dies bedeuten, dass die Daten für die weitere Verwendung nicht akzeptabel sind. Ein Beispiel sind fehlende Werte in Schlüsselspalten eines Datensatzes, der für Schulungen zum maschinellen Lernen verwendet wird. Sie können einen zweiten Regelsatz mit strengeren Regeln verwenden, um zu überprüfen, ob der Datensatz eine so gute Qualität aufweist, dass keine Bereinigung erforderlich ist.

Sie können einen oder mehrere Regelsätze anwenden, die für einen bestimmten Datensatz in einer Profiljob-Konfiguration definiert sind. Wenn der Profiljob ausgeführt wird, erstellt er zusätzlich zum Datenprofil einen Validierungsbericht. Der Validierungsbericht ist am selben Ort wie Ihre Profildaten verfügbar. Wie bei den Profilinformationen können Sie sich die Ergebnisse in der DataBrew Konsole ansehen. Wählen Sie in der Ansicht mit den Datensatzdetails die Registerkarte Datenqualität aus, um die Ergebnisse anzuzeigen. Weitere Informationen zum Arbeiten mit Profilinformationen finden Sie unterErstellen und Arbeiten mit AWS Glue DataBrew Jobs profilieren.

Auf der Grundlage der Validierungsergebnisse handeln

Wenn ein DataBrew Profiljob abgeschlossen ist, wird ein CloudWatch Amazon-Event mit den Details dieses ausgeführten Jobs DataBrew gesendet. Wenn Sie Ihren Job auch für die Validierung von Datenqualitätsregeln konfiguriert haben, wird für jeden validierten Regelsatz ein Ereignis DataBrew gesendet. Das Ereignis enthält das Ergebnis (SUCCEEDEDFAILED, oderERROR) und einen Link zum ausführlichen Bericht zur Datenqualitätsprüfung. Anschließend können Sie weitere Aktionen automatisieren, indem Sie je nach Status der Validierung die nächste Aktion aufrufen. Weitere Informationen zum Verbinden von Ereignissen mit Zielaktionen, wie Amazon SNS SNS-Benachrichtigungen,AWS Lambda Funktionsaufrufen und anderen, finden Sie unter Erste Schritte mit Amazon. EventBridge

Im Folgenden finden Sie ein Beispiel für ein Ereignis mit einem DataBrew Überprüfungsergebnis:

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Sie können Attribute von Ereignissen wie source und verschachtelte Eigenschaften des detail Attributs verwendendetail-type, um Ereignismuster in Amazon Eventbridge zu erstellen. Ein Ereignismuster, das allen fehlgeschlagenen Validierungen eines DataBrew Jobs entspricht, würde beispielsweise so aussehen:

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Ein Beispiel für die Erstellung eines Regelsatzes und die Validierung seiner Regeln finden Sie unter. Einen Regelsatz mit Datenqualitätsregeln erstellen Weitere Informationen zum Arbeiten mit CloudWatch Ereignissen in DataBrew finden Sie unter Automatisieren DataBrew mit Ereignissen CloudWatch

Überprüfung der Validierungsergebnisse und Aktualisierung der Datenqualitätsregeln

Nach Abschluss Ihres Profiljobs können Sie die Überprüfungsergebnisse für Ihre Datenqualitätsregeln einsehen und Ihre Regeln bei Bedarf aktualisieren.

Für jede Regel, deren Überprüfung fehlgeschlagen ist, können Sie die erforderlichen Korrekturen vornehmen.