DQDLReferenz zum Regeltyp - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

DQDLReferenz zum Regeltyp

Dieser Abschnitt enthält eine Referenz für jeden Regeltyp, den AWS Glue Data Quality unterstützt.

Anmerkung

  • DQDLunterstützt derzeit keine verschachtelten oder listentypischen Spaltendaten.

  • Die Werte in Klammern in der folgenden Tabelle werden durch die in den Regelargumenten angegebenen Informationen ersetzt.

  • Regeln erfordern in der Regel ein zusätzliches Argument für den Ausdruck.

Regeltyp Beschreibung Argumente Gemeldete Metriken Als Regel unterstützt? Als Analysator unterstützt? Gibt Ergebnisse auf Zeilenebene zurück? Unterstützung dynamischer Regeln? Generiert Beobachtungen Unterstützt die Syntax der Where-Klausel?
AggregateMatch Überprüft, ob zwei Datensätze übereinstimmen, indem zusammenfassende Metriken wie der Gesamtumsatz verglichen werden. Nützlich für Finanzunternehmen, um zu vergleichen, ob alle Daten aus Quellsystemen übernommen werden. Eine oder mehrere Aggregationen

Wenn die Namen der ersten und zweiten Aggregationsspalte übereinstimmen:

Column.[Column].AggregateMatch

Wenn die Namen der ersten und zweiten Aggregationsspalte nicht übereinstimmen:

Column.[Column1,Column2].AggregateMatch

 Ja Nein Nein Nein Nein Nein
AllStatistics Eigenständiger Analysator zum Sammeln mehrerer Metriken für die angegebene Spalte in einem Datensatz. Ein einziger Spaltenname

Für Spalten jedes Typs:

Dataset.*.RowCount

Column.[Column].Completeness

Column.[Column].Uniqueness

Zusätzliche Metriken für Spalten mit Zeichenfolgewerten:

ColumnLength metrics

Zusätzliche Metriken für Spalten mit numerischen Werten:

ColumnValues metrics

 Nein Ja Nein Nein Nein Nein
ColumnCorrelation Prüft, wie gut zwei Spalten korreliert sind. Genau zwei Spaltennamen Multicolumn.[Column1,Column2].ColumnCorrelation Ja Ja Nein Ja Nein Ja
ColumnCount Prüft, ob Spalten gelöscht wurden. None Dataset.*.ColumnCount Ja Ja Nein Ja Ja Nein
ColumnDataType Prüft, ob eine Spalte einem Datentyp entspricht. Genau ein Spaltenname Column.[Column].ColumnDataType.Compliance Ja Nein Nein Ja, im Schwellenwertausdruck auf Zeilenebene Nein Ja
ColumnExists Prüft, ob Spalten in einem Datensatz vorhanden sind. Dadurch können Kunden Self-Service-Datenplattformen erstellen, um sicherzustellen, dass bestimmte Spalten verfügbar sind. Genau ein Spaltenname N/A Ja Nein Nein Nein Nein Nein
ColumnLength Prüft, ob die Datenlänge konsistent ist. Genau ein Spaltenname

Column.[Column].MaximumLength

Column.[Column].MinimumLength

Zusätzliche Metrik, wenn ein Schwellenwert auf Zeilenebene angegeben ist:

Column.[Column].ColumnValues.Compliance

 Ja Ja Ja, wenn ein Schwellenwert auf Zeilenebene angegeben ist Nein Ja. Generiert Beobachtungen nur durch die Analyse der Mindest- und Maximallänge Ja
ColumnNamesMatchPattern Prüft, ob die Spaltennamen mit den definierten Mustern übereinstimmen. Nützlich für Governance-Teams, um die Konsistenz der Spaltennamen durchzusetzen. Ein regulärer Ausdruck für Spaltennamen Dataset.*.ColumnNamesPatternMatchRatio Ja Nein Nein Nein Nein Nein
ColumnValues Prüft, ob die Daten gemäß den definierten Werten konsistent sind. Diese Regel unterstützt reguläre Ausdrücke. Genau ein Spaltenname

Column.[Column].Maximum

Column.[Column].Minimum

Zusätzliche Metrik, wenn ein Schwellenwert auf Zeilenebene angegeben ist:

Column.[Column].ColumnValues.Compliance

 Ja Ja Ja, wenn ein Schwellenwert auf Zeilenebene angegeben ist Nein Ja. Generiert Beobachtungen nur durch die Analyse der Mindest- und Maximalwerte Ja
Vollständigkeit Prüft, ob Daten leer sind oder NULLs sich darin befinden. Genau ein Spaltenname

Column.[Column].Completeness

 Ja Ja Ja Ja Ja Ja
CustomSql Kunden können fast jede Art von Datenqualitätsprüfungen durchführenSQL.

Eine SQL Aussage

(Optional) Ein Schwellenwert auf Zeilenebene

Dataset.*.CustomSQL

Zusätzliche Metrik, wenn ein Schwellenwert auf Zeilenebene angegeben ist:

Dataset.*.CustomSQL.Compliance

 Ja Nein Ja, wenn ein Schwellenwert auf Zeilenebene angegeben ist Ja Nein Nein
DataFreshness Prüft, ob die Daten aktuell sind. Genau ein Spaltenname Column.[Column].DataFreshness.Compliance Ja Nein Ja Nein Nein Ja
DatasetMatch Vergleicht zwei Datensätze und stellt fest, ob sie synchron sind.

Name eines Referenzdatensatzes

Eine Spaltenzuweisung

(Optional) Nach Übereinstimmungen zu durchsuchende Spalten

 Dataset.[ReferenceDatasetAlias].DatasetMatch Ja Nein Ja Ja Nein Nein
DistinctValuesCount Prüft auf doppelte Werte. Genau ein Spaltenname Column.[Column].DistinctValuesCount Ja Ja Ja Ja Ja Ja
DetectAnomalies Überprüft die gemeldeten Metriken eines anderen Regeltyps auf Anomalien. Ein Regeltyp Metrik(en), die vom Regeltypargument gemeldet wurden Ja Nein Nein Nein Nein Nein
Entropie Prüft die Daten auf Entropie. Genau ein Spaltenname Column.[Column].Entropy Ja Ja Nein Ja Nein Ja
IsComplete Prüft, ob 100 % der Daten vollständig sind. Genau ein Spaltenname Column.[Column].Completeness Ja Nein Ja Nein Nein Ja
IsPrimaryKey Prüft, ob es sich bei einer Spalte um einen Primärschlüssel handelt (nicht NULL und eindeutig). Genau ein Spaltenname

Für einzelne Spalte:

Column.[Column].Uniqueness

Für mehrere Spalten:

Multicolumn.[CommaDelimitedColumns].Uniqueness

 Ja Nein Ja Nein Nein Ja
IsUnique Prüft, ob 100 % der Daten eindeutig sind. Genau ein Spaltenname Column.[Column].Uniqueness Ja Nein Ja Nein Nein Ja
Mean Prüft, ob der Mittelwert dem eingestellten Schwellenwert entspricht. Genau ein Spaltenname Column.[Column].Mean Ja Ja Ja Ja Nein Ja
ReferentialIntegrity Prüft, ob zwei Datensätze referenzielle Integrität aufweisen.

Ein oder mehrere Spaltennamen aus dem Datensatz

Ein oder mehrere Spaltennamen aus dem Referenzdatensatz

 Column.[ReferenceDatasetAlias].ReferentialIntegrity Ja Nein Ja Ja Nein Nein
RowCount Prüft, ob die Anzahl der Datensätze einem Schwellenwert entspricht. None Dataset.*.RowCount Ja Ja Nein Ja Ja Ja
RowCountMatch Prüft, ob die Datensatzanzahl zwischen zwei Datensätzen übereinstimmt. Alias des Referenzdatensatzes Dataset.[ReferenceDatasetAlias].RowCountMatch Ja Nein Nein Ja Nein Nein
StandardDeviation Prüft, ob die Standardabweichung dem Schwellenwert entspricht. Genau ein Spaltenname Column.[Column].StandardDeviation Ja Ja Ja Ja Nein Ja
SchemaMatch Prüft, ob das Schema zwischen zwei Datensätzen übereinstimmt. Alias des Referenzdatensatzes Dataset.[ReferenceDatasetAlias].SchemaMatch Ja Nein Nein Ja Nein Nein
Summe Prüft, ob die Summe einem festgelegten Schwellenwert entspricht. Genau ein Spaltenname Column.[Column].Sum Ja Ja Nein Ja Nein Ja
Eindeutigkeit Prüft, ob die Eindeutigkeit des Datensatzes dem Schwellenwert entspricht. Genau ein Spaltenname Column.[Column].Uniqueness Ja Ja Ja Ja Nein Ja
UniqueValueRatio Prüft, ob das Verhältnis des Einzelwerts dem Schwellenwert entspricht. Genau ein Spaltenname Column.[Column].UniqueValueRatio Ja Ja Ja Ja Nein Ja
Themen