Journalisation continue des tâches AWS Glue - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Journalisation continue des tâches AWS Glue

AWS Glue fournit une journalisation continue en temps réel des tâches AWS Glue. Vous pouvez consulter les journaux des tâches Apache Spark en temps réel sur Amazon CloudWatch, notamment les journaux des pilotes, les journaux des exécuteurs et une barre de progression des tâches Apache Spark. L'affichage des journaux en temps réel vous offre un meilleur point de vue sur la tâche en cours d'exécution.

Lorsque vous démarrez une AWS Glue tâche, elle envoie les informations de journalisation en temps réel à CloudWatch (toutes les 5 secondes et avant la fin de chaque exécuteur) après le début de l'exécution de l'application Spark. Vous pouvez consulter les journaux sur la AWS Glue console ou sur le tableau de bord de la CloudWatch console.

La fonctionnalité de journalisation continue inclut les caractéristiques suivantes :

  • Journalisation continue

  • Un enregistreur de script personnalisé pour consigner les messages spécifiques à l'application

  • Une barre de progression de console pour suivre l'état de la tâche AWS Glue en cours d'exécution

Pour plus d'informations sur la prise en charge de la journalisation continue dans AWS Glue version 2.0, veuillez consulter Exécution de tâches ETL Spark avec des temps de démarrage réduits.

Vous pouvez restreindre l'accès aux groupes de CloudWatch journaux ou aux flux pour que les rôles IAM puissent lire les journaux. Pour plus de détails sur la restriction de l'accès, consultez la section Utilisation de politiques basées sur l'identité (politiques IAM) pour les CloudWatch journaux dans la documentation. CloudWatch

Note

Des frais supplémentaires peuvent vous être facturés lorsque vous activez la journalisation continue et que des événements de journalisation supplémentaires CloudWatch sont créés. Pour plus d'informations, consultez les CloudWatch tarifs Amazon.