Configuration d'un crawler

Le nom peut contenir des lettres (A à Z), des chiffres (0 à 9), des tirets (-) ou des traits de soulignement (_) et jusqu'à 255 caractères.

Les descriptions peuvent comporter jusqu'à 2 048 caractères.

Utilisez des balises pour identifier et organiser vos ressources. Pour plus d’informations, consultez les ressources suivantes :

Sélectionnez l'option appropriée pour Vos données sont-elles déjà mappées dans des AWS Glue tables ? choisissez « Pas encore » ou « Oui ». Par défaut, Pas encore est déjà sélectionné.

L'crawler peut accéder aux magasins de données directement en tant que source de l'analyse, ou il peut utiliser des tables de Data Catalog existantes en tant que source. Si l'crawler utilise des tables de catalogue existantes, il analyse les magasins de données qui sont spécifiés par ces tables de catalogue.

Pour utiliser les tables Delta, créez d'abord une table Delta à l'aide d'Athena DDL ou du. AWS Glue API

À l'aide d'Athena, définissez l'emplacement de votre dossier Amazon S3 et le type de table sur « ». DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

À l'aide du AWS Glue API, spécifiez le type de table dans la carte des paramètres de table. Les paramètres de la table doivent inclure la paire clé/valeur suivante. Pour plus d'informations sur la création d'une table, consultez la documentation Boto3 pour create_table.

{
    "table_type":"delta"
}

Sélectionnez ou ajoutez la liste des sources de données à analyser par le crawler.

(Facultatif) Si vous le souhaitez JDBC comme source de données, vous pouvez utiliser vos propres JDBC pilotes lorsque vous spécifiez l'accès à la connexion où les informations du pilote sont stockées.

Lors de l'évaluation des éléments à inclure ou exclure dans une analyse, un crawler commence par évaluer le chemin d'inclusion requis. Pour les magasins de données Amazon S3, MongoDB, MongoDB Atlas, Amazon DocumentDB (compatible avec MongoDB) et les magasins de données relationnelles, vous devez spécifier un chemin d'inclusion.

Pour MongoDB, MongoDB Atlas et Amazon DocumentDB (compatible avec MongoDB), la syntaxe est database/collection.

Pour les magasins de JDBC données, la syntaxe est soit, database-name/schema-name/table-name soitdatabase-name/table-name. La syntaxe varie selon que le moteur de base de données prend en charge ou pas les schémas dans une base de données. Par exemple, pour les moteurs de base de données tels que My SQL ou Oracle, ne spécifiez pas de schema-name dans votre chemin d'inclusion. Vous pouvez remplacer le signe pourcentage (%) d'un schéma ou d'une table dans le chemin d'inclusion pour représenter tous les schémas ou toutes les tables d'une base de données. Vous ne pouvez pas remplacer le signe pourcentage (%) pour la base de données dans le chemin d'inclusion.

Définit la profondeur maximale du chemin Amazon S3 que le Crawler peut parcourir pour découvrir le dossier de métadonnées Iceberg ou Hudi dans votre chemin Amazon S3. L'objectif de ce paramètre est de limiter la durée d'exécution du Crawler. La valeur par défaut est 10 et la valeur maximale est 20.

Ils vous permettent d'exclure certains fichiers ou tables de l'analyse. Le chemin à exclure est relatif par rapport au chemin à inclure. Par exemple, pour exclure une table de votre banque de JDBC données, tapez le nom de la table dans le chemin d'exclusion.

Un robot d'exploration se connecte à un magasin de JDBC données à l'aide d'une AWS Glue connexion contenant une chaîne de JDBC URI connexion. Le robot d'exploration a uniquement accès aux objets du moteur de base de données à l'aide du nom JDBC d'utilisateur et du mot de passe de la AWS Glue connexion. Le robot d'exploration ne peut créer que des tables auxquelles il peut accéder par le biais de la JDBC connexion. Une fois que le robot a accédé au moteur de base de données avec le JDBCURI, le chemin d'inclusion est utilisé pour déterminer quelles tables du moteur de base de données sont créées dans le catalogue de données. Par exemple, avec MySQL, si vous spécifiez un chemin d'inclusion deMyDatabase/%, toutes les tables qu'il contient MyDatabase sont créées dans le catalogue de données. Lors de l'accès à Amazon Redshift, si vous spécifiez un chemin d'inclusion MyDatabase/%, toutes les tables de tous les schémas de la base de données MyDatabase sont créées dans Data Catalog. Si vous spécifiez un chemin d'inclusion MyDatabase/MySchema/%, toutes les tables de la base de données MyDatabase et du schéma MySchema sont créées.

Après que vous avez spécifié un chemin d'inclusion, vous pouvez exclure les objets de l'analyse qui sinon seraient inclus dans votre chemin d'inclusion en spécifiant un ou plusieurs modèles d'exclusion glob de style Unix. Ces modèles sont appliqués à votre chemin d'inclusion afin de déterminer les objets exclus. Ces modèles sont également stockés comme propriété de tables créée par l'analyseur. AWS Glue PySpark les extensions, telles quecreate_dynamic_frame.from_catalog, lisent les propriétés de la table et excluent les objets définis par le modèle d'exclusion.

AWS Glue prend en charge les types de modèles glob suivants dans les modèles d'exclusion.

AWS Glue interprète les modèles d'exclusion glob comme suit :

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Chaque type de source requiert un jeu différent de paramètres supplémentaires. La liste suivante est incomplète :

Sélectionnez ou ajoutez une connexion AWS Glue. Pour obtenir des informations sur les connexions, consultez Connexion aux données.

Sélectionnez des propriétés de métadonnées supplémentaires à analyser par le crawler.

Entrez un nom de classe de JDBC pilote personnalisé pour que le robot d'exploration se connecte à la source de données :

Choisissez un chemin Amazon S3 existant vers un fichier .jar. C'est là que le .jar fichier sera stocké lorsque vous utiliserez un JDBC pilote personnalisé pour que le robot d'exploration se connecte à la source de données.

Indiquez si vous souhaitez analyser un échantillon de données uniquement. Si ce n'est pas sélectionné, la table entière est analysée. L'analyse de tous les enregistrements peut prendre beaucoup de temps lorsque la table n'est pas à haut débit.

Sélectionnez la façon dont vous souhaitez créer les tables Delta Lake :

Spécifiez le pourcentage des unités de capacité de lecture de la table DynamoDB à utiliser par le crawler. Unités de capacité de lecture est un terme défini par DynamoDB et est une valeur numérique qui sert de limiteur de vitesse pour le nombre de lectures pouvant être effectuées sur cette table par seconde. Saisissez une valeur comprise entre 0,1 et 1.5^63 - 1. Si ce n'est pas spécifié, la valeur par défaut est de 0,5 % pour les tables provisionnées et de 1/4 de la capacité configurée maximale pour les tables à la demande. Notez que seul le mode de capacité provisionnée doit être utilisé avec les AWS Glue robots d'exploration.

Vous pouvez également inclure une connexion réseau à utiliser avec cette cible Amazon S3. Notez que chaque crawler est limité à une connexion réseau et toutes les autres cibles Amazon S3 utilisent la même connexion (ou aucune, si ce champ est laissé vide).

Pour obtenir des informations sur les connexions, consultez Connexion aux données.

Spécifiez le nombre de fichiers dans chaque dossier feuille à analyser lors de l'analyse d'échantillons de fichiers dans un jeu de données. Lorsque cette fonction est activée, au lieu d'analyser tous les fichiers de ce jeu de données, l'crawler sélectionne au hasard certains fichiers dans chaque dossier feuille à analyser.

Le crawler d'échantillonnage est le mieux adapté aux clients qui ont des connaissances préalables sur leurs formats de données et savent que les schémas de leurs dossiers ne changent pas. L'activation de cette fonction réduira considérablement le temps d'exécution de l'crawler.

Une valeur valide est un entier compris entre 1 et 249. Si ce n'est pas spécifié, tous les fichiers sont analysés.

Ce champ est un champ global qui concerne toutes les sources de données Amazon S3.

Définissez des classifieurs personnalisés avant de définir des crawlers. Un classifieur vérifie si un fichier donné est dans un format que le crawler peut gérer. Si c'est le cas, le classifieur crée un schéma sous la forme d'un objet StructType correspondant à ce format de données.

Pour plus d'informations, consultez Définition et gestion des classificateurs.

L'crawler endosse ce rôle. Il doit disposer d'autorisations similaires à celles de la politique AWS géréeAWSGlueServiceRole. Pour les sources Amazon S3 et DynamoDB, il doit également disposer des autorisations pour accéder au magasin de données. Si le robot lit les données Amazon S3 chiffrées avec AWS Key Management Service (AWS KMS), le rôle doit disposer d'autorisations de déchiffrement sur la AWS KMS clé.

Pour un magasin de données Amazon S3, les autorisations supplémentaires attachées au rôle seraient similaires à ce qui suit :

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:PutObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

Pour un magasin de données Amazon DynamoDB, les autorisations supplémentaires attachées au rôle seraient similaires à ce qui suit :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

Pour ajouter votre propre JDBC pilote, des autorisations supplémentaires doivent être ajoutées.

Exemple de stratégie Amazon S3 :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-name/driver-parent-folder/driver.jar",
                "arn:aws:s3:::bucket-name"
            ]
        }
    ]
}
                            
                        

AWS Gluecrée les dossiers suivants (_crawleret _glue_job_crawler au même niveau que le JDBC pilote) dans votre compartiment Amazon S3. Par exemple, si le chemin du pilote est <s3-path/driver_folder/driver.jar>, les dossiers suivants seront créés s'ils n'existent pas déjà :

Le cas échéant, vous pouvez ajouter une configuration de sécurité à un crawler pour spécifier les options de chiffrement au repos.

Pour plus d’informations, consultez Étape 2 : créer un IAM rôle pour AWS Glue et Gestion des identités et des accès pour AWS Glue.

Autorisez le crawler à utiliser les informations d'identification de Lake Formation pour analyser la source de données.

Si vous cochez la case Utiliser les informations d'identification Lake Formation pour analyser la source de données S3, le crawler peut utiliser les informations d'identification Lake Formation pour analyser la source de données. Si la source de données appartient à un autre compte, vous devez fournir l'ID de compte enregistré. À défaut, le crawler n'analysera que les sources de données associées au compte. Applicable uniquement aux sources de données Amazon S3 et Data Catalog.

Les paramètres incluent les configurations de sécurité. Pour plus d’informations, consultez les ressources suivantes :

Les options incluent la façon dont l'crawler doit gérer des modifications de schéma, les objets supprimés détectés dans le magasin de données, et plus encore. Pour plus d’informations, consultez Personnalisation du comportement des robots d'exploration.

Vous pouvez exécuter un crawler à la demande ou définir une planification temporelle pour vos crawlers et vos tâches dans AWS Glue. La définition de ces planifications utilise la syntaxe de type Unix cron. Pour plus d'informations, consultez Planification d'un crawler.