AWS Glue Qualität der Daten

Serverless – es gibt keine Installation, Patches oder Wartung.

Schneller Einstieg — AWS Glue Data Quality analysiert Ihre Daten schnell und erstellt Datenqualitätsregeln für Sie. Sie können mit zwei Klicks loslegen: „Datenqualitätsregeln erstellen → Regeln empfehlen“.

Erkennen von Datenqualitätsproblemen – Verwenden Sie Machine Learning (ML), um Anomalien und schwer zu erkennende Datenqualitätsprobleme zu erkennen.

Regeln improvisieren – mit mehr als 25 sofort einsatzbereiten DQ-Regeln können Sie Regeln erstellen, die Ihren spezifischen Anforderungen entsprechen.

Qualität bewerten und fundierte Geschäftsentscheidungen treffen – Sobald Sie die Regeln bewertet haben, erhalten Sie einen Datenqualitätswert, der einen Überblick über den Zustand Ihrer Daten bietet. Verwenden Sie den Wert von Data Quality, um sichere Geschäftsentscheidungen zu treffen.

Konzentrieren Sie sich auf schlechte Daten — AWS Glue Data Quality hilft Ihnen dabei, die genauen Datensätze zu identifizieren, die zu einem Rückgang Ihrer Qualitätswerte geführt haben. Identifizieren, isolieren und beheben Sie sie ganz einfach.

Nutzungsbasierte Bezahlung — Für die Nutzung von AWS Glue Data Quality sind keine Jahreslizenzen erforderlich.

Keine Fixierung — AWS Glue Data Quality basiert auf Open Source DeeQu, sodass Sie die Regeln, die Sie verfassen, in einer offenen Sprache speichern können.

Datenqualitätsprüfungen – Sie können Datenqualitätsprüfungen für Data Catalog- und AWS Glue-ETL-Pipelines erzwingen, sodass Sie die Datenqualität im Ruhezustand und während der Übertragung verwalten können.

ML-based Erkennung der Datenqualität — Verwenden Sie maschinelles Lernen (ML), um Anomalien und schwer zu erkennende Probleme mit der Datenqualität zu erkennen.

Offene Sprache zum Ausdruck von Regeln – stellt sicher, dass Datenqualitätsregeln einheitlich und einfach verfasst werden. Geschäftsanwender können Datenqualitätsregeln ganz einfach in einer für sie verständlichen Sprache ausdrücken. Für Ingenieure bietet diese Sprache die Flexibilität, Code zu generieren, eine konsistente Versionsverwaltung zu implementieren und Bereitstellungen zu automatisieren.

Sie möchten Datenqualitätsaufgaben für Datensätze durchführen, die Sie bereits im AWS Glue Data Catalog katalogisiert haben.

Sie arbeiten an der Datenverwaltung und müssen kontinuierlich Datenqualitätsprobleme in Ihrem Data Lake identifizieren oder bewerten.

Die Verwaltungskonsole AWS Glue

AWS Glue APIs

Sie möchten Datenqualitätsaufgaben in Ihre ETL-Aufträge einbeziehen

Sie möchten Code schreiben, der Datenqualitätsaufgaben in ETL-Skripten definiert

Sie möchten die Qualität der Daten, die in Ihren visuellen Daten-Pipelines fließen, verwalten

AWS Glue Studio, AWS Glue Studio Notizbücher und interaktive Sitzungen AWS Glue

AWS Glue Bibliotheken für ETL-Skripting

AWS Glue APIs

Datenqualitätsregeln können keine verschachtelten oder Listentyp-Datenquellen auswerten. Siehe Verschachtelte Strukturen verflachen.

Ein Regelsatz kann 2.000 Regeln enthalten. Wenn Ihre Regelsätze größer sind, empfehlen wir, sie in mehrere Regelsätze aufzuteilen.

Die Größe des Regelsatzes beträgt 65 KB. Wenn Ihre Regelsätze größer sind, empfehlen wir, sie in mehrere Regelsätze aufzuteilen.

AWS Glue Data Quality erfasst Statistiken, wenn Sie eine Regel oder einen Analyzer erstellen. Das Speichern dieser Statistiken ist mit keinen Kosten verbunden. Es besteht jedoch ein Limit von 100.000 Statistiken pro Konto und diese Statistiken werden maximal zwei Jahre lang aufbewahrt.

Die Möglichkeit zu ermitteln, welche Datensätze die Datenqualitätsprüfung nicht bestanden haben, wird jetzt unterstützt in AWS Glue Studio

Neue Regeltypen für die Datenqualität, wie z. B. die Validierung der referenziellen Integrität von Daten zwischen zwei Datensätzen, der Vergleich von Daten zwischen zwei Datensätzen und Datentypprüfungen

Verbesserte Benutzererfahrung in der AWS Glue Data Catalog

Unterstützung für Apache Iceberg, Apache Hudi und Delta Lake

Unterstützung für Amazon Redshift

Vereinfachte Benachrichtigung bei Amazon EventBridge

AWS CloudFormation Unterstützung für die Erstellung von Regelsätzen

Leistungsverbesserungen: Caching-Option in ETL und AWS Glue Studio für eine schnellere Leistung bei der Bewertung der Datenqualität

ML-powered Funktionen zur Erkennung von Anomalien sind jetzt in AWS Glue ETL und verfügbar. AWS Glue Studio Damit können Sie jetzt Anomalien und schwer zu erkennende Datenqualitätsprobleme erkennen.

Mit dynamischen Regeln können Sie dynamische Schwellenwerte angeben (z. B.:) RowCount> avg(last(10))

DQDL-Verbesserungen

DQDL-Verbesserungen

Anomalieerkennung und dynamische Regeln sind jetzt allgemein verfügbar.

Komplexe zusammengesetzte Regeln ermöglichen Ihnen die Erstellung komplexerer Geschäftsregeln mit verschachtelter Unterstützung.

Neue Regeltypen für die Verwaltung der Datenqualität Ihrer Dateien

Standardmäßige Datenqualitätsprüfungen in Visual ETL-Aufträgen

AWS Glue Data Quality unterstützt jetzt Amazon SageMaker AI LakeHouse Tabellen und AWS Lake Formation verwaltete Iceberg-, Delta- und HUDI-Tabellen in AWS Glue ETL 5.0.

AWS Glue Datenqualität; unterstützt jetzt Amazon S3-Tabellen, RMS, Lakehouse und AWS Lake Formation verwaltete Iceberg-Tabellen im AWS Glue Datenkatalog.

AWS Glue Data Quality unterstützt jetzt die Kennzeichnung von Regeln für eine verbesserte Berichterstattung. Sie können Datenqualitätsergebnisse effektiver organisieren und analysieren, indem Sie Ergebnisse anhand bestimmter Bezeichnungen abfragen, um fehlerhafte Regeln innerhalb bestimmter Kategorien zu identifizieren, Regelergebnisse nach Team oder Bereich zu zählen und zielgerichtete Berichte für verschiedene Stakeholder zu erstellen. Weitere Informationen finden Sie unter Labels.

AWS Glue Data Quality unterstützt jetzt Konstanten in DQDL, sodass Sie konstante Werte definieren und im gesamten Skript auf sie verweisen können. Dies hilft, Probleme im Zusammenhang mit Größenbeschränkungen für Abfragen zu vermeiden, wenn Sie mit großen SQL-Anweisungen arbeiten. Weitere Informationen finden Sie unter Konstanten.

Mit AWS Glue Data Quality können Sie den Distribution Analyzer jetzt verwenden, um Häufigkeitsverteilungen für Ihre Datenspalten zu berechnen. Für numerische Spalten generiert er Histogramme in Unterteilungen. Für kategoriale Spalten werden Wertverteilungen generiert, die nach Häufigkeit sortiert sind. Weitere Informationen finden Sie unter Verteilungsanalysator.

Sie können jetzt Ergebnisse zur Datenqualität in Apache Iceberg Tabellen im AWS Glue Data Catalog für Abfragen mit schreiben. Dazu gehören Regelergebnisse, Ergebnisse der Profilerstellung, Verteilungsergebnisse, Ergebnisse auf Zeilenebene und Beobachtungsergebnisse. Weitere Informationen finden Sie unter Datenqualitätsergebnisse in Datenkatalogtabellen schreiben.

Sie können jetzt die Anomalieerkennung mit dem verwenden. AWS Glue Data Catalog Um die Anomalieerkennung für katalogisierte Tabellen zu aktivieren, führen Sie Evaluierungsläufe mit ObservationScope set auf aus. ALL Weitere Informationen finden Sie unter Erkennung von Anomalien in AWS Glue Datenqualität.