ColumnDataType - AWS Glue

ColumnDataType

Comprueba el tipo de datos inherente de los valores de una columna dada con respecto al tipo esperado proporcionado. Acepta una expresión with threshold para comprobar si hay un subconjunto de los valores en la columna.

Sintaxis

ColumnDataType <COL_NAME> = <EXPECTED_TYPE>
  • COL_ NAME — El nombre de la columna con la que desea evaluar la regla de calidad de los datos.

    Tipos de columnas compatibles: tipo cadena

    Tipos de columnas compatibles: byte, decimal, doble, flotante, entero, largo, corto

  • EXPECTED_ TYPE — El tipo esperado de valores de la columna.

    Valores admitidos: booleano, fecha, marca de tiempo, entero, doble, flotante, largo

    Tipos de columnas compatibles: byte, decimal, doble, flotante, entero, largo, corto

  • EXPRESSION— Una expresión opcional para especificar el porcentaje de valores que deben ser del tipo esperado.

    Tipos de columnas compatibles: byte, decimal, doble, flotante, entero, largo, corto

Ejemplo: números enteros del tipo de datos de columna como cadenas

La siguiente regla de ejemplo comprueba si los valores de la columna dada, que es de tipo cadena, son en realidad enteros.

ColumnDataType "colA" = "INTEGER"

Ejemplo: los números enteros del tipo de datos de las columnas como cadenas comprueban un subconjunto de los valores

La siguiente regla de ejemplo comprueba si más del 90 % de los valores de la columna dada, que es de tipo cadena, son realmente enteros.

ColumnDataType "colA" = "INTEGER" with threshold > 0.9