Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Afficher les journaux Airflow sur Amazon CloudWatch
Amazon MWAA peut envoyer des journaux Apache Airflow à Amazon. CloudWatch Vous pouvez consulter les journaux de plusieurs environnements à partir d'un seul emplacement afin d'identifier facilement les retards dans les tâches Apache Airflow ou les erreurs de flux de travail sans avoir besoin d'outils tiers supplémentaires. Les journaux Apache Airflow doivent être activés sur la console Amazon Managed Workflows for Apache Airflow pour afficher le traitement du DAG Apache Airflow, les tâches, le serveur Web et les connexions des travailleurs. CloudWatch
Table des matières
Tarification
-
CloudWatch Les frais de journalisation standard s'appliquent. Pour plus d'informations, consultez CloudWatch les tarifs
.
Avant de commencer
-
Vous devez disposer d'un rôle permettant de consulter les connexions CloudWatch. Pour plus d’informations, consultez Accès à un environnement Amazon MWAA.
Types de journaux
Amazon MWAA crée un groupe de journaux pour chaque option de journalisation Airflow que vous activez et transmet les journaux aux groupes de CloudWatch journaux associés à un environnement. Les groupes de journaux sont nommés au format suivant :YourEnvironmentName-
. Par exemple, si votre environnement est nomméLogType
Airflow-v202-Public
, les journaux des tâches Apache Airflow sont envoyés àAirflow-v202-Public-
. Task
Type de journal | Description |
---|---|
|
Les journaux du gestionnaire du processeur DAG (la partie du planificateur qui traite les fichiers DAG). |
|
Les journaux générés par le planificateur Airflow. |
|
Les journaux de tâches générés par un DAG. |
|
Les journaux générés par l'interface Web Airflow. |
|
Les journaux générés dans le cadre du flux de travail et de l'exécution du DAG. |
Activation des journaux Apache Airflow
Vous pouvez activer les journaux Apache Airflow au CRITICAL
niveau INFO
WARNING
,ERROR
, ou. Lorsque vous choisissez un niveau de journalisation, Amazon MWAA envoie des journaux correspondant à ce niveau et à tous les niveaux de gravité supérieurs. Par exemple, si vous activez les journaux au INFO
niveau, Amazon MWAA envoie INFO
les journaux et WARNING
les niveaux de CRITICAL
journalisation à CloudWatch Logs. ERROR
-
Ouvrez la page Environnements
sur la console Amazon MWAA. -
Choisissez un environnement.
-
Choisissez Modifier.
-
Choisissez Suivant.
-
Choisissez une ou plusieurs des options de journalisation suivantes :
-
Choisissez le groupe de journaux du planificateur Airflow dans le volet de surveillance.
-
Choisissez le groupe de journaux du serveur Web Airflow dans le volet de surveillance.
-
Choisissez le groupe de journaux de travail Airflow dans le volet de surveillance.
-
Choisissez le groupe de journaux de traitement Airflow DAG dans le volet de surveillance.
-
Choisissez le groupe de journaux de tâches Airflow dans le volet Surveillance.
-
Choisissez le niveau de journalisation dans Log level.
-
-
Choisissez Suivant.
-
Choisissez Enregistrer.
Afficher les journaux d'Apache Airflow
La section suivante décrit comment afficher les journaux Apache Airflow dans la CloudWatch console.
-
Ouvrez la page Environnements
sur la console Amazon MWAA. -
Choisissez un environnement.
-
Choisissez un groupe de journaux dans le volet de surveillance.
-
Choisissez un flux de journal de connexion.
Exemples de journaux du planificateur
Vous pouvez consulter les journaux Apache Airflow pour le planificateur qui planifie vos flux de travail et analyse votre dossier. dags
Les étapes suivantes décrivent comment ouvrir le groupe de journaux pour le planificateur sur la console Amazon MWAA et afficher les journaux Apache Airflow sur la console Logs. CloudWatch
Pour consulter les journaux d'un requirements.txt
-
Ouvrez la page Environnements
sur la console Amazon MWAA. -
Choisissez un environnement.
-
Choisissez le groupe de journaux du planificateur Airflow dans le volet de surveillance.
-
Choisissez le
requirements_install_ip
log in Log streams. -
Vous devriez voir la liste des packages installés sur l'environnement à l'adresse
/usr/local/airflow/.local/bin
. Par exemple :Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1)) Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))
-
Consultez la liste des packages et vérifiez si l'un d'entre eux a rencontré une erreur lors de l'installation. En cas de problème, un message d'erreur similaire au suivant peut s'afficher :
2021-03-05T14:34:42.731-07:00 No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4)) No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
Quelle est la prochaine étape ?
-
Découvrez comment configurer une CloudWatch alarme dans Utiliser les CloudWatch alarmes Amazon.
-
Découvrez comment créer un CloudWatch tableau de bord dans Utilisation des CloudWatch tableaux de bord.