Parámetros establecidos en las tablas del catálogo de datos por el rastreador - AWS Glue

Parámetros establecidos en las tablas del catálogo de datos por el rastreador

Los rastreadores de AWS Glue establecen estas propiedades de la tabla. Esperamos que los usuarios consuman las propiedades classification y compressionType. Para los cálculos internos se utilizan otras propiedades, incluidas las estimaciones del tamaño de las tablas, y no se garantizan su precisión ni aplicabilidad a los casos de uso de los clientes. Cambiar estos parámetros puede alterar el comportamiento del rastreador y no admitimos este flujo de trabajo.

Clave de la propiedad Valor de la propiedad
UPDATED_BY_CRAWLER

Nombre del rastreador que realiza la actualización.

connectionName

El nombre de la conexión del Catálogo de datos para el rastreador que se utiliza para la conexión al almacén de datos.

recordCount

Calcule el recuento de registros de la tabla, según el tamaño de los archivos y los encabezados.

skip.header.line.count

Filas omitidas para omitir el encabezado. Se establece en tablas clasificadas como CSV.

CrawlerSchemaSerializerVersion

Para uso interno

classification

Formato de los datos, deducido por el rastreador. Para obtener más información sobre los formatos de datos que admiten los rastreadores de AWS Glue, consulte Clasificadores integrados.

CrawlerSchemaDeserializerVersion

Para uso interno

sizeKey

Tamaño combinado de los archivos de la tabla rastreada.

averageRecordSize

Tamaño promedio de una fila en la tabla, en bytes.

compressionType

Tipo de compresión utilizado en los datos de la tabla. Para obtener más información sobre los tipos de compresión que admiten los rastreadores de AWS Glue, consulte Clasificadores integrados.

typeOfData

file, table o bien view.

objectCount

Número de objetos en la ruta de Amazon S3 para la tabla.

Los rastreadores de AWS Glue establecen estas propiedades de tabla adicionales para almacenes de datos de Snowflake.

Clave de la propiedad Valor de la propiedad
aws:RawTableLastAltered

Registra la última marca temporal modificada de la tabla de Snowflake.

ViewOriginalText

Vea la instrucción SQL.

ViewExpandedText

Vea la instrucción SQL codificada en formato Base64.

ExternalTable:S3Location

Ubicación de Amazon S3 de la tabla externa de Snowflake.

ExternalTable:FileFormat

Formato de archivo de Amazon S3 de la tabla externa de Snowflake.

Los rastreadores de AWS Glue establecen estas propiedades de tabla adicionales para almacenes de datos de tipo JDBC, como Amazon Redshift, Microsoft SQL Server, MySQL, PostgreSQL y Oracle.

Clave de la propiedad Valor de la propiedad
aws:RawType

Cuando un rastreador almacena los datos en el Catálogo de datos, traduce los tipos de datos a tipos compatibles con Hive, lo que muchas veces hace que se pierda la información del tipo de datos nativo. El rastreador genera el parámetro aws:RawType para proporcionar el tipo de datos de nivel nativo.

aws:RawColumnComment

Si un comentario está asociado a una columna de la base de datos, el rastreador genera el comentario correspondiente en la tabla del catálogo. La cadena de comentario se trunca en 255 bytes.

Microsoft SQL Server no admite los comentarios.

aws:RawTableComment

Si un comentario está asociado a una tabla de la base de datos, el rastreador genera el comentario correspondiente en la tabla del catálogo. La cadena de comentario se trunca en 255 bytes.

Microsoft SQL Server no admite los comentarios.