Configuration d'un robot d'exploration pour les notifications d'événements Amazon S3 pour une cible Amazon S3 - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'un robot d'exploration pour les notifications d'événements Amazon S3 pour une cible Amazon S3

Suivez ces étapes pour configurer un robot d'exploration pour les notifications d'événements Amazon S3 pour une cible Amazon S3 à l'aide du AWS Management Console ou AWS CLI.

AWS Management Console

  1. Connectez-vous à la GuardDuty console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/guardduty/.

  2. Définissez les propriétés de votre crawler. Pour plus d'informations, consultez la section Configuration des options de configuration du robot d'exploration sur AWS Glue console.

  3. Dans la section Configuration de la source de données, il vous est demandé si vos données sont déjà mappées à AWS Glue des tables ?

    Par défaut, la réponse Not yet (Pas encore) est déjà sélectionnée. Laissez-le comme valeur par défaut car vous utilisez une source de données Amazon S3 et les données ne sont pas déjà mappées vers AWS Glue tables.

  4. Dans la section Data sources (Sources de données), choisissez Add a data source (Ajouter une source de données).

    Data source configuration interface with options to select or add data sources for crawling.

  5. Dans le modal Add data source (Ajouter une source de données), configurez la source de données Amazon S3 :

    • Data source (Source de données) : Amazon S3 est sélectionné par défaut.

    • Network connection (Connexion réseau) (Facultatif) : sélectionnez Add new connection (Ajouter une nouvelle connexion).

    • Location of Amazon S3 data (Emplacement des données Amazon S3) : par défaut, l'option In this account (Dans ce compte) est sélectionnée.

    • Amazon S3 path (Chemin d'accès Amazon S3) : spécifiez le chemin d'accès Amazon S3 où les dossiers et les fichiers sont analysés.

    • Subsequent crawler runs (Exécutions ultérieures du crawler) : choisissez Crawl based on events (Analyse en fonction des événements) pour utiliser les notifications d'événements Amazon S3 pour votre crawler.

    • Inclure SQS ARN : Spécifiez les paramètres du magasin de données, y compris les paramètres valides SQSARN. (Par exemple, arn:aws:sqs:region:account:sqs.)

    • Inclure une lettre morte SQS ARN (facultatif) : Spécifiez une lettre morte Amazon valide. SQS ARN (Par exemple, arn:aws:sqs:region:account:deadLetterQueue.)

    • Choisissez Add an Amazon S3 data source (Ajouter une source de données Amazon S3).

    Add data source dialog for S3, showing options for network connection and crawl settings.
AWS CLI

Voici un exemple d' AWS CLI appel Amazon S3 pour configurer un robot d'exploration afin qu'il utilise les notifications d'événements pour explorer un compartiment cible Amazon S3. 


Create Crawler:
aws glue update-crawler \
    --name myCrawler \
    --recrawl-policy RecrawlBehavior=CRAWL_EVENT_MODE \
    --schema-change-policy UpdateBehavior=UPDATE_IN_DATABASE,DeleteBehavior=LOG
    --targets '{"S3Targets":[{"Path":"s3://amzn-s3-demo-bucket/", "EventQueueArn": "arn:aws:sqs:us-east-1:012345678910:MyQueue"}]}'