Entropie - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entropie

Vérifie si la valeur d'entropie d'une colonne correspond à une expression donnée. L'entropie mesure le niveau d'information contenu dans un message. Compte tenu de la distribution de probabilité des valeurs d'une colonne, l'entropie décrit le nombre de bits nécessaires pour identifier une valeur.

Syntaxe

Entropy <COL_NAME> <EXPRESSION>
  • COL_ NAME — Le nom de la colonne par rapport à laquelle vous souhaitez évaluer la règle de qualité des données.

    Types de colonnes pris en charge : n'importe quel type de colonne

  • EXPRESSION— Expression à exécuter en fonction de la réponse du type de règle afin de produire une valeur booléenne. Pour de plus amples informations, veuillez consulter Expressions.

Exemple : entropie de colonne

L'exemple de règle suivant vérifie que la colonne nommée Feedback possède une valeur d'entropie supérieure à un.

Entropy "Star_Rating" > 1 Entropy "First_Name" > 1 where "Customer_ID < 10"

Exemples de règles dynamiques

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))