IsComplete - AWS Glue

IsComplete

Verifica se todos os valores em uma coluna estão completos (não nulos).

Sintaxe

IsComplete <COL_NAME>

  • COL_NAME: o nome da coluna em relação à qual você deseja avaliar a regra de qualidade de dados.

    Tipos de coluna compatíveis: qualquer tipo de coluna

Exemplo: valores nulos

O exemplo a seguir verifica se todos os valores em uma coluna denominada email não são nulos.

IsComplete "email"
IsComplete "Email" where "Customer_ID between 1 and 50"
IsComplete "Customer_ID"  where "Customer_ID < 16 and Customer_ID != 12"
IsComplete "passenger_count" where "payment_type<>0"

Comportamento nulo

Observação sobre formatos de dados CSV: linhas em branco em colunas CSV podem apresentar vários comportamentos.

  • Se uma coluna for do tipo String, a linha em branco será reconhecida como uma string vazia e não falhará na regra Completeness.

  • Se uma coluna for de outro tipo de dados, por exemplo, Int, a linha em branco será reconhecida como NULL e falhará na regra Completeness.