Étape 2 : Choisir des sources de données et des classificateurs.

Sélectionnez l'option appropriée pour Vos données sont-elles déjà mappées à AWS Glue des tables ? choisissez « Pas encore » ou « Oui ». Par défaut, Pas encore est déjà sélectionné.

L'crawler peut accéder aux magasins de données directement en tant que source de l'analyse, ou il peut utiliser des tables de Data Catalog existantes en tant que source. Si l'crawler utilise des tables de catalogue existantes, il analyse les magasins de données qui sont spécifiés par ces tables de catalogue.

Pour utiliser les tables Delta, créez d'abord une table Delta à l'aide d'Athena DDL ou du. AWS Glue API

À l'aide d'Athena, définissez l'emplacement de votre dossier Amazon S3 et le type de table sur « ». DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

À l'aide du AWS Glue API, spécifiez le type de table dans la carte des paramètres de table. Les paramètres de la table doivent inclure la paire clé/valeur suivante. Pour plus d'informations sur la création d'une table, consultez la documentation Boto3 pour create_table.

{
    "table_type":"delta"
}

Sélectionnez ou ajoutez la liste des sources de données à analyser par le crawler.

(Facultatif) Si vous le souhaitez JDBC comme source de données, vous pouvez utiliser vos propres JDBC pilotes lorsque vous spécifiez l'accès à la connexion où les informations du pilote sont stockées.

Lors de l'évaluation des éléments à inclure ou exclure dans une analyse, un crawler commence par évaluer le chemin d'inclusion requis. Pour les magasins de données Amazon S3, MongoDB, MongoDB Atlas, Amazon DocumentDB (compatible avec MongoDB) et les magasins de données relationnelles, vous devez spécifier un chemin d'inclusion.

Pour MongoDB, MongoDB Atlas et Amazon DocumentDB (compatible avec MongoDB), la syntaxe est database/collection.

Pour les magasins de JDBC données, la syntaxe est soit, database-name/schema-name/table-name soitdatabase-name/table-name. La syntaxe varie selon que le moteur de base de données prend en charge ou pas les schémas dans une base de données. Par exemple, pour les moteurs de base de données tels que My SQL ou Oracle, ne spécifiez pas de schema-name dans votre chemin d'inclusion. Vous pouvez remplacer le signe pourcentage (%) d'un schéma ou d'une table dans le chemin d'inclusion pour représenter tous les schémas ou toutes les tables d'une base de données. Vous ne pouvez pas remplacer le signe pourcentage (%) pour la base de données dans le chemin d'inclusion.

Définit la profondeur maximale du chemin Amazon S3 que le Crawler peut parcourir pour découvrir le dossier de métadonnées Iceberg ou Hudi dans votre chemin Amazon S3. L'objectif de ce paramètre est de limiter la durée d'exécution du Crawler. La valeur par défaut est 10 et la valeur maximale est 20.

Ils vous permettent d'exclure certains fichiers ou tables de l'analyse. Le chemin à exclure est relatif par rapport au chemin à inclure. Par exemple, pour exclure une table de votre banque de JDBC données, tapez le nom de la table dans le chemin d'exclusion.

Un robot d'exploration se connecte à un magasin de JDBC données à l'aide d'un AWS Glue connexion contenant une chaîne JDBC URI de connexion. Le robot d'exploration n'a accès aux objets du moteur de base de données qu'à l'aide du nom JDBC d'utilisateur et du mot de passe figurant dans AWS Glue connexion. Le robot d'exploration ne peut créer que des tables auxquelles il peut accéder par le biais de la JDBC connexion. Une fois que le robot a accédé au moteur de base de données avec le JDBCURI, le chemin d'inclusion est utilisé pour déterminer quelles tables du moteur de base de données sont créées dans le catalogue de données. Par exemple, avec MySQL, si vous spécifiez un chemin d'inclusion deMyDatabase/%, toutes les tables qu'il contient MyDatabase sont créées dans le catalogue de données. Lors de l'accès à Amazon Redshift, si vous spécifiez un chemin d'inclusion MyDatabase/%, toutes les tables de tous les schémas de la base de données MyDatabase sont créées dans Data Catalog. Si vous spécifiez un chemin d'inclusion MyDatabase/MySchema/%, toutes les tables de la base de données MyDatabase et du schéma MySchema sont créées.

Après que vous avez spécifié un chemin d'inclusion, vous pouvez exclure les objets de l'analyse qui sinon seraient inclus dans votre chemin d'inclusion en spécifiant un ou plusieurs modèles d'exclusion glob de style Unix. Ces modèles sont appliqués à votre chemin d'inclusion afin de déterminer les objets exclus. Ces modèles sont également stockés comme propriété de tables créée par l'analyseur. AWS Glue PySpark les extensions, telles quecreate_dynamic_frame.from_catalog, lisent les propriétés de la table et excluent les objets définis par le modèle d'exclusion.

AWS Glue prend en charge les glob modèles suivants dans le modèle d'exclusion.

AWS Glue interprète les modèles glob d'exclusion comme suit :

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Chaque type de source requiert un jeu différent de paramètres supplémentaires.

Sélectionnez ou ajoutez un AWS Glue connexion. Pour obtenir des informations sur les connexions, consultez Connexion aux données.

Sélectionnez des propriétés de métadonnées supplémentaires à analyser par le crawler.

Entrez un nom de classe de JDBC pilote personnalisé pour que le robot d'exploration se connecte à la source de données :

Choisissez un chemin Amazon S3 existant vers un fichier .jar. C'est là que le .jar fichier sera stocké lorsque vous utiliserez un JDBC pilote personnalisé pour que le robot d'exploration se connecte à la source de données.

Indiquez si vous souhaitez analyser un échantillon de données uniquement. Si ce n'est pas sélectionné, la table entière est analysée. L'analyse de tous les enregistrements peut prendre beaucoup de temps lorsque la table n'est pas à haut débit.

Sélectionnez la façon dont vous souhaitez créer les tables Delta Lake :

Spécifiez le pourcentage des unités de capacité de lecture de la table DynamoDB à utiliser par le crawler. Unités de capacité de lecture est un terme défini par DynamoDB et est une valeur numérique qui sert de limiteur de vitesse pour le nombre de lectures pouvant être effectuées sur cette table par seconde. Saisissez une valeur comprise entre 0,1 et 1.5^63 - 1. Si ce n'est pas spécifié, la valeur par défaut est 0,5 pour les tables provisionnées et 1/4 de la capacité maximale configurée pour les tables à la demande. Notez que seul le mode de capacité provisionnée doit être utilisé avec les AWS Glue robots d'exploration.

Vous pouvez également inclure une connexion réseau à utiliser avec cette cible Amazon S3. Notez que chaque crawler est limité à une connexion réseau et toutes les autres cibles Amazon S3 utilisent la même connexion (ou aucune, si ce champ est laissé vide).

Pour obtenir des informations sur les connexions, consultez Connexion aux données.

Spécifiez le nombre de fichiers dans chaque dossier feuille à analyser lors de l'analyse d'échantillons de fichiers dans un jeu de données. Lorsque cette fonction est activée, au lieu d'analyser tous les fichiers de ce jeu de données, l'crawler sélectionne au hasard certains fichiers dans chaque dossier feuille à analyser.

Le crawler d'échantillonnage est le mieux adapté aux clients qui ont des connaissances préalables sur leurs formats de données et savent que les schémas de leurs dossiers ne changent pas. L'activation de cette fonction réduira considérablement le temps d'exécution de l'crawler.

Une valeur valide est un entier compris entre 1 et 249. Si ce n'est pas spécifié, tous les fichiers sont analysés.

Ce champ est un champ global qui concerne toutes les sources de données Amazon S3.

Définissez des classifieurs personnalisés avant de définir des crawlers. Un classifieur vérifie si un fichier donné est dans un format que le crawler peut gérer. Si c'est le cas, le classifieur crée un schéma sous la forme d'un objet StructType correspondant à ce format de données.

Pour de plus amples informations, veuillez consulter Définition et gestion des classificateurs.