Parâmetros definidos nas tabelas do Data Catalog pelo crawler - AWS Glue

Parâmetros definidos nas tabelas do Data Catalog pelo crawler

Essas propriedades da tabela são definidas pelos crawlers do AWS Glue. Esperamos que os usuários consumam as propriedades classification e compressionType. Outras propriedades, incluindo estimativas de tamanho de tabela, são usadas para cálculos internos e não garantimos sua precisão ou aplicabilidade aos casos de uso do cliente. Alterar esses parâmetros pode alterar o comportamento do crawler. Não oferecemos suporte a esse fluxo de trabalho.

Propriedade da chave Valor da propriedade
UPDATED_BY_CRAWLER

Nome do crawler que está executando a atualização.
connectionName

O nome da conexão no Data Catalog para o crawler usado para conexão com o armazenamento de dados.
recordCount

Estime a contagem de registros na tabela com base nos tamanhos e cabeçalhos dos arquivos.
skip.header.line.count

Linhas ignoradas para pular o cabeçalho. Definido em tabelas classificadas como CSV.
CrawlerSchemaSerializerVersion

Para uso interno
classification

Formato dos dados, inferido pelo crawler. Para obter mais informações sobre os formatos de dados aceitos pelos crawlers do AWS Glue, consulte Classificadores integrados.
CrawlerSchemaDeserializerVersion

Para uso interno
sizeKey

Tamanho combinado dos arquivos na tabela com crawling.
averageRecordSize

O tamanho médio da linha na tabela, em bytes.
compressionType

Tipo de compressão usada nos dados da tabela. Para obter mais informações sobre os tipos de compressão aceitos pelos crawlers do AWS Glue, consulte Classificadores integrados.
typeOfData

file, table ou view.
objectCount

Número de objetos no caminho do Amazon S3 para a tabela.

Essas propriedades adicionais da tabela são definidas por crawlers do AWS Glue para armazenamentos de dados do Snowflake.

Propriedade da chave Valor da propriedade
aws:RawTableLastAltered

Registra o timestamp da última alteração da tabela do Snowflake.
ViewOriginalText

Visualizar a instrução SQL.
ViewExpandedText

Visualizar a instrução SQL codificada no formato Base64.
ExternalTable:S3Location

O local do Amazon S3 da tabela externa do Snowflake.
ExternalTable:FileFormat

O formato do arquivo do Amazon S3 da tabela externa do Snowflake.

Essas propriedades adicionais da tabela são definidas por crawlers do AWS Glue para armazenamentos de dados do tipo JDBC, como Amazon Redshift, Microsoft SQL Server, MySQL, PostgreSQL e Oracle.

Propriedade da chave Valor da propriedade
aws:RawType

Quando um crawler armazena os dados no Dta Catalog, ele converte os tipos de dados em tipos compatíveis com o Hive, o que, muitas vezes, faz com que as informações sobre o tipo de dados nativo sejam perdidas. O crawler gera o parâmetro aws:RawType para fornecer o tipo de dados de nível nativo.
aws:RawColumnComment

Se um comentário estiver associado a uma coluna no banco de dados, o crawler gera o comentário correspondente na tabela do catálogo. A string de comentários é truncada em 255 bytes.

O Microsoft SQL Server não oferece suporte para comentários.
aws:RawTableComment

Se um comentário estiver associado a uma tabela no banco de dados, o crawler gera o comentário correspondente na tabela do catálogo. A string de comentários é truncada em 255 bytes.

O Microsoft SQL Server não oferece suporte para comentários.