Entropía - AWS Glue

Entropía

Comprueba si el valor de entropía de una columna coincide con una expresión dada. La entropía mide el nivel de información que contiene un mensaje. Dada la distribución de probabilidad entre los valores de una columna, la entropía describe cuántos bits se necesitan para identificar un valor.

Sintaxis

Entropy <COL_NAME> <EXPRESSION>
  • COL_NAME: el nombre de la columna con la que quiere evaluar la regla de la calidad de los datos.

    Tipos de columnas compatibles: cualquier tipo de columna

  • EXPRESSION: una expresión que se ejecuta en función de la respuesta del tipo de regla para producir un valor booleano. Para obtener más información, consulte Expressions.

Ejemplo: entropía de columna

La siguiente regla de ejemplo comprueba que la columna denominada Feedback tiene un valor de entropía superior a uno.

Entropy "Star_Rating" > 1 Entropy "First_Name" > 1 where "Customer_ID < 10"

Muestra de reglas dinámicas

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))