Configuration d'un robot d'exploration pour utiliser les informations d'identification de Lake Formation - AWS Glue
Configuration requise lorsque le crawler et l'emplacement Amazon S3 enregistré ou la table du catalogue de données se trouvent dans le même compte (indexation de site web intégrée au compte)

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'un robot d'exploration pour utiliser les informations d'identification de Lake Formation

Vous pouvez configurer un robot d'exploration pour qu'il utilise des AWS Lake Formation informations d'identification pour accéder à un magasin de données Amazon S3 ou à une table de catalogue de données contenant un emplacement Amazon S3 sous-jacent au même Compte AWS ou à un autre Compte AWS. Vous pouvez configurer une table du catalogue de données existante en tant que cible d'un crawler, si le crawler et la table du catalogue de données se trouvent dans le même compte. Actuellement, une seule cible de catalogue avec une seule table de catalogue est autorisée lors de l'utilisation d'une table du catalogue de données comme cible d'un cralwer.

Note

Lorsque vous définissez une table du catalogue de données en tant que cible du crawler, assurez-vous que l'emplacement sous-jacent de la table du catalogue de données est un emplacement Amazon S3. Les crawlers qui utilisent les informations d'identification Lake Formation ne prennent en charge que les cibles du catalogue de données avec des emplacements Amazon S3 sous-jacents

Configuration requise lorsque le crawler et l'emplacement Amazon S3 enregistré ou la table du catalogue de données se trouvent dans le même compte (indexation de site web intégrée au compte)

Pour permettre au crawler d'accéder à un magasin de données ou à une table du catalogue de données à l'aide des informations d'identification de Lake Formation, vous devez enregistrer l'emplacement des données auprès de Lake Formation. En outre, le IAM rôle du robot d'exploration doit être autorisé à lire les données depuis la destination où le compartiment Amazon S3 est enregistré.

Vous pouvez effectuer les étapes de configuration suivantes à l'aide du AWS Management Console ou AWS Command Line Interface (AWS CLI).

AWS Management Console

  1. Avant de configurer un crawler pour accéder à sa source, enregistrez l'emplacement des données du magasin de données ou du catalogue de données auprès de Lake Formation. Dans la console Lake Formation (https://console.aws.amazon.com/lakeformation/), enregistrez un emplacement Amazon S3 comme emplacement racine de votre lac de données dans l' Compte AWS endroit où le robot est défini. Pour plus d'informations, consultez la rubrique Enregistrement d'un emplacement Amazon S3.

  2. Accordez des autorisations de localisation des données au IAM rôle utilisé pour l'exécution du robot d'exploration afin que celui-ci puisse lire les données depuis la destination dans Lake Formation. Pour plus d'informations, consultez la rubrique Octroi d'autorisations d'emplacement de données (même compte).

  3. Accordez les autorisations d'accès au rôle de crawler (Create) à la base de données, qui est spécifiée comme base de données de sortie. Pour plus d'informations, consultez la rubrique Octroi d'autorisations de base de données via la console Lake Formation et la méthode de ressource nommée.

  4. Dans la IAM console (https://console.aws.amazon.com/iam/), créez un IAM rôle pour le robot d'exploration. Ajoutez la stratégie lakeformation:GetDataAccess au rôle.

  5. Dans la AWS Glue console (https://console.aws.amazon.com/glue/), lors de la configuration du robot d'exploration, sélectionnez l'option Utiliser les informations d'identification de Lake Formation pour analyser la source de données Amazon S3.

    Note

    Ce accountId champ est facultatif pour l'exploration intégrée au compte.

AWS CLI
aws glue --profile demo create-crawler --debug --cli-input-json '{
    "Name": "prod-test-crawler",
    "Role": "arn:aws:iam::111122223333:role/service-role/AWSGlueServiceRole-prod-test-run-role",
    "DatabaseName": "prod-run-db",
    "Description": "",
    "Targets": {
    "S3Targets":[
                {
                 "Path": "s3://crawl-testbucket"
                }
                ]
                },
   "SchemaChangePolicy": {
      "UpdateBehavior": "LOG",
      "DeleteBehavior": "LOG"
  },
  "RecrawlPolicy": {
    "RecrawlBehavior": "CRAWL_EVERYTHING"
  },
  "LineageConfiguration": {
    "CrawlerLineageSettings": "DISABLE"
  },
  "LakeFormationConfiguration": {
    "UseLakeFormationCredentials": true,
    "AccountId": "111122223333"
  },
  "Configuration": {
           "Version": 1.0,
           "CrawlerOutput": {
             "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" },
             "Tables": {"AddOrUpdateBehavior": "MergeNewColumns" }
           },
           "Grouping": { "TableGroupingPolicy": "CombineCompatibleSchemas" }
         },
  "CrawlerSecurityConfiguration": "",
  "Tags": {
    "KeyName": ""
  }
}'