ColumnValues - AWS Glue

ColumnValues

Executa uma expressão em relação aos valores em uma coluna.

Sintaxe

ColumnValues <COL_NAME> <EXPRESSION>
  • COL_NAME: o nome da coluna em relação à qual você deseja avaliar a regra de qualidade de dados.

    Tipos de coluna compatíveis: qualquer tipo de coluna

  • EXPRESSION: uma expressão a ser executada na resposta do tipo de regra para produzir um valor booliano. Para ter mais informações, consulte Expressões.

Exemplo: valores permitidos

O exemplo de regra a seguir verifica se cada valor na coluna especificada está em um conjunto de valores permitidos (inclusive nulo, vazio e strings somente com espaços em branco).

ColumnValues "Country" in [ "US", "CA", "UK", NULL, EMPTY, WHITESPACES_ONLY ] ColumnValues "gender" in ["F", "M"] where "weightinkgs < 10"

Exemplo: expressão regular

O exemplo de regra a seguir verifica os valores em uma coluna em relação a uma expressão regular.

ColumnValues "First_Name" matches "[a-zA-Z]*"

Exemple: valores de data

O exemplo de regra a seguir verifica os valores em uma coluna de datas em relação a uma expressão regular.

ColumnValues "Load_Date" > (now() - 3 days)

Exemplo: valores numéricos

O exemplo de regra a seguir verifica se os valores da coluna correspondem a uma determinada restrição numérica.

ColumnValues "Customer_ID" between 1 and 2000

Comportamento nulo

Para todas as regras ColumnValues (exceto != eNOT IN), as linhas NULL falharão na regra. Se a regra falhar devido a um valor nulo, o motivo da falha exibirá o seguinte:

Value: NULL does not meet the constraint requirement!

O exemplo de regra composta a seguir fornece uma maneira de permitir explicitamente valores NULL:

(ColumnValues "Age" > 21) OR (ColumnValues "Age" = NULL)

As regras de ColumnValues negadas usando a sintaxe != e not in serão transmitidas para as linhas NULL. Por exemplo:

ColumnValues "Age" != 21
ColumnValues "Age" not in [21, 22, 23]

Os exemplos a seguir fornecem uma maneira de falhar explicitamente valores NULL

(ColumnValues "Age" != 21) AND (ColumnValues "Age" != NULL)
ColumnValues "Age" not in [21, 22, 23, NULL]