Entropia - AWS Glue

Entropia

Verifica se o valor de entropia de uma coluna corresponde a uma determinada expressão. A entropia mede o nível de informação que está contida em uma mensagem. Dada a distribuição de probabilidade pelos valores em uma coluna, a entropia descreve quantos bits são necessários para identificar um valor.

Sintaxe

Entropy <COL_NAME> <EXPRESSION>
  • COL_NAME: o nome da coluna em relação à qual você deseja avaliar a regra de qualidade de dados.

    Tipos de coluna compatíveis: qualquer tipo de coluna

  • EXPRESSION: uma expressão a ser executada na resposta do tipo de regra para produzir um valor booliano. Para ter mais informações, consulte Expressões.

Exemplo: entropia de coluna

O exemplo de regra a seguir verifica se a coluna determinada Feedback tem um valor de entropia maior que um.

Entropy "Star_Rating" > 1 Entropy "First_Name" > 1 where "Customer_ID < 10"

Exemplos de regras dinâmicas

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))