Integridad - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Integridad

Comprueba el porcentaje de valores completos (no nulos) de una columna con respecto a una expresión determinada.

Sintaxis

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME: el nombre de la columna con la que quiere evaluar la regla de la calidad de los datos.

    Tipos de columnas compatibles: cualquier tipo de columna

  • EXPRESSION: una expresión que se ejecuta en función de la respuesta del tipo de regla para producir un valor booleano. Para obtener más información, consulte Expressions.

Ejemplo: porcentaje de valor nulo

Las siguientes reglas de ejemplo comprueban si más del 95 % de los valores de una columna están completos.

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

Muestra de reglas dinámicas

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Comportamiento nulo

Nota sobre los formatos de datos CSV: las filas en blanco en las columnas de CSV pueden demostrar distintos comportamientos.

  • Si una columna es del tipo String, la fila en blanco se reconocerá como una cadena vacía y no fallará la regla Completeness.

  • Si una columna es de otro tipo de dato, como Int, la fila en blanco se reconocerá como NULL y fallará la regla Completeness.