Paramètres définis sur les tables du Catalogue de données par un Crawler - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Paramètres définis sur les tables du Catalogue de données par un Crawler

Les propriétés de ces tables sont définies par des Crawlers AWS Glue. Nous nous attendons à ce que les utilisateurs consomment les propriétés classification et compressionType. D'autres propriétés, dont les estimations de la taille des tables, sont utilisées pour les calculs internes, et nous ne garantissons pas leur exactitude ou leur applicabilité aux cas d'utilisation des clients. La modification de ces paramètres peut modifier le comportement du Crawler. Nous ne prenons pas en charge ce flux.

Clé de propriété Valeur de la propriété
UPDATED_BY_CRAWLER

Nom du Crawler qui effectue la mise à jour.

connectionName

Nom de la connexion dans le catalogue de données pour le crawler utilisé pour se connecter au magasin de données.

recordCount

Estimation du nombre d'enregistrements dans la table, basée sur la taille des fichiers et des en-têtes.

skip.header.line.count

Lignes ignorées pour ignorer l'en-tête. Définie sur des tables classées au format CSV.

CrawlerSchemaSerializerVersion

Pour utilisation interne

classification

Format des données, déduit par le Crawler. Pour de plus amples informations sur les formats de données pris en charge par les Crawlers AWS Glue, veuillez consulter Classificateurs intégrés.

CrawlerSchemaDeserializerVersion

Pour utilisation interne

sizeKey

Taille combinée des fichiers dans la table indexée.

averageRecordSize

Taille moyenne des lignes dans la table, en octets.

compressionType

Type de compression utilisé sur les données de la table. Pour de plus amples informations sur les types de compression pris en charge par les Crawlers AWS Glue, veuillez consulter Classificateurs intégrés.

typeOfData

file, table ou view.

objectCount

Nombre d'objets sous le chemin Amazon S3 pour la table.

Ces propriétés de table supplémentaires sont définies par les crawlers AWS Glue pour les magasins de données Snowflake.

Clé de propriété Valeur de la propriété
aws:RawTableLastAltered

Enregistre le dernier horodatage modifié de la table Snowflake.

ViewOriginalText

Affichez l'Instruction SQL.

ViewExpandedText

Affichez l'instruction SQL codée au format Base64.

ExternalTable:S3Location

Emplacement Amazon S3 de la table externe Snowflake.

ExternalTable:FileFormat

Format de fichier Amazon S3 de la table externe Snowflake.

Ces propriétés de table supplémentaires sont définies par les crawlers AWS Glue pour les magasins de données de type JDBC tels qu'Amazon Redshift, Microsoft SQL Server, MySQL, PostgreSQL et Oracle.

Clé de propriété Valeur de la propriété
aws:RawType

Lorsqu'un crawler stocke les données dans le catalogue de données, il traduit les types de données en types compatibles avec Hive, ce qui entraîne souvent la perte des informations relatives au type de données natif. Le crawler génère le paramètre aws:RawType pour fournir le type de données de niveau natif.

aws:RawColumnComment

Si un commentaire est associé à une colonne de la base de données, le crawler génère le commentaire correspondant dans la table du catalogue. La chaîne de commentaire est tronquée à 255 octets.

Les commentaires ne sont pas pris en charge pour Microsoft SQL Server.

aws:RawTableComment

Si un commentaire est associé à une table de la base de données, le crawler génère le commentaire correspondant dans la table du catalogue. La chaîne de commentaire est tronquée à 255 octets.

Les commentaires ne sont pas pris en charge pour Microsoft SQL Server.