Automatiser AWS Glue avec des CloudWatch événements - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Automatiser AWS Glue avec des CloudWatch événements

Vous pouvez utiliser Amazon CloudWatch Events pour automatiser vos AWS services et répondre automatiquement aux événements du système tels que les problèmes de disponibilité des applications ou les modifications des ressources. Les événements des AWS services sont fournis à CloudWatch Events en temps quasi réel. Vous pouvez écrire des règles simples pour indiquer quels événements vous intéressent et les actions automatisées à effectuer quand un événement correspond à une règle. Les actions pouvant être déclenchées automatiquement sont les suivantes :

  • Invoquer une fonction AWS Lambda

  • Invocation de la commande Amazon EC2 Run

  • Relais de l'événement à Amazon Kinesis Data Streams

  • Activation d'une machine à AWS Step Functions états

  • Notification d'une rubrique Amazon SNS ou d'une file d'attente Amazon SQS

Quelques exemples d'utilisation d' CloudWatch Events avec AWS Glue comprennent notamment :

  • Activation d'une fonction Lambda lorsqu'une tâche ETL réussit

  • Notification d'une rubrique Amazon SNS lorsqu'une tâche ETL échoue

Les CloudWatch événements suivants sont générés par AWS Glue.

  • Les événements pour "detail-type":"Glue Job State Change" sont générés pour SUCCEEDED, FAILED, TIMEOUT et STOPPED.

  • Les événements pour "detail-type":"Glue Job Run Status" sont générés pour les exécutions de tâcheRUNNING, STARTING et STOPPING lorsqu'ils dépassent le seuil de notification de dépassement de délai de tâche. Vous devez définir la propriété du seuil de notification des retards de tâche pour recevoir ces événements.

    Un seul événement est généré par statut d'exécution de tâche lorsque le seuil de notification de retard de tâche est dépassé.

  • Les événements pour "detail-type":"Glue Crawler State Change" sont générés pour Started, Succeeded et Failed.

  • Les événements pour "detail-type":"Glue Data Catalog Database State Change" sont générés pour CreateDatabase, DeleteDatabase, CreateTable, DeleteTable et BatchDeleteTable. Par exemple, si une table est créée ou supprimée, une notification est envoyée à CloudWatch Events. Notez que vous ne pouvez pas écrire un programme en fonction de la présence d'événements de notification ou de leur ordre, car il peut ne pas y en avoir ou ils peuvent ne pas être dans l'ordre défini. Les événements sont générés dans la mesure du possible. Voici les informations figurant dans la notification :

    • Le champ typeOfChange contient le nom de l'opération d'API.

    • Le champ databaseName indique le nom de la base de données concernée.

    • Le champ changedTables contient jusqu'à 100 noms de tables concernées par notification. Lorsque les noms de table sont longs, plusieurs notifications peuvent être créées.

  • Les événements pour "detail-type":"Glue Data Catalog Table State Change" sont générés pour UpdateTable, CreatePartition, BatchCreatePartition, UpdatePartition, DeletePartition, BatchUpdatePartition et BatchDeletePartition. Par exemple, si une table ou une partition est mise à jour, une notification est envoyée à CloudWatch Events. Notez que vous ne pouvez pas écrire un programme en fonction de la présence d'événements de notification ou de leur ordre, car il peut ne pas y en avoir ou ils peuvent ne pas être dans l'ordre défini. Les événements sont générés dans la mesure du possible. Voici les informations figurant dans la notification :

    • Le champ typeOfChange contient le nom de l'opération d'API.

    • Le champ databaseName indique le nom de la base de données dont les ressources sont concernées.

    • Le champ tableName indique le nom de la table concernée.

    • Le champ changedPartitions spécifie jusqu'à 100 partitions concernées dans une notification. Lorsque les noms de partition sont longs, plusieurs notifications peuvent être créées.

      Par exemple, s'il existe deux clés de partition, Year et Month, alors "2018,01", "2018,02" modifie la partition si "Year=2018" and "Month=01" et si "Year=2018" and "Month=02".

      {
    "version":"0",
    "id":"abcdef00-1234-5678-9abc-def012345678",
    "detail-type":"Glue Data Catalog Table State Change",
    "source":"aws.glue",
    "account":"123456789012",
    "time":"2017-09-07T18:57:21Z",
    "region":"us-west-2",
    "resources":["arn:aws:glue:us-west-2:123456789012:database/default/foo"],
    "detail":{
        "changedPartitions": [
            "2018,01",
            "2018,02"
        ],
        "databaseName": "default",
        "tableName": "foo",
        "typeOfChange": "BatchCreatePartition"
        }
}

Pour plus d'informations, consultez le guide de l'utilisateur d'Amazon CloudWatch Events. Pour les événements spécifiques à AWS Glue, voir AWS Glue Évènements.