Intégralité - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégralité

Compare le pourcentage de valeurs complètes (non nulles) d'une colonne à une expression donnée.

Syntaxe

Completeness <COL_NAME> <EXPRESSION>

  • COL_ NAME — Le nom de la colonne par rapport à laquelle vous souhaitez évaluer la règle de qualité des données.

    Types de colonnes pris en charge : n'importe quel type de colonne

  • EXPRESSION— Expression à exécuter en fonction de la réponse du type de règle afin de produire une valeur booléenne. Pour de plus amples informations, veuillez consulter Expressions.

Exemple : pourcentage de valeur nulle

Les exemples de règles suivants vérifient si plus de 95 % des valeurs d'une colonne sont complètes.

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

Exemples de règles dynamiques

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Comportement nul

Remarque sur les formats de CSV données : les lignes vides sur CSV les colonnes peuvent afficher plusieurs comportements.

  • Si une colonne est de String type, la ligne vide sera reconnue comme une chaîne vide et ne dérogera pas à la Completeness règle.

  • Si une colonne est d'un autre type de donnéesInt, la ligne vide sera reconnue NULL et ne respectera pas la Completeness règle.