View a markdown version of this page

Accès aux journaux Airflow sur Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
TarificationAvant de commencerTypes de journauxActivation des journaux Apache AirflowAccès aux journaux Apache AirflowExemples de journaux du planificateurQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Accès aux journaux Airflow sur Amazon CloudWatch

Amazon MWAA peut envoyer des journaux Apache Airflow à Amazon. CloudWatch Vous pouvez accéder aux journaux de plusieurs environnements à partir d'un seul emplacement afin d'identifier facilement les retards ou les erreurs de flux de travail d'Apache Airflow sans outils tiers supplémentaires. Les journaux Apache Airflow doivent être activés sur la console Amazon Managed Workflows pour Apache Airflow pour accéder au traitement Apache Airflow DAG, aux tâches, au serveur Web et aux connexions des travailleurs. CloudWatch

Tarification

  • Des frais de CloudWatch journalisation standard s'appliquent. Pour plus d'informations, consultez la rubrique CloudWatch Tarification.

Avant de commencer

Types de journaux

Amazon MWAA crée un groupe de journaux pour chaque option de journalisation Airflow que vous activez et transmet les journaux aux groupes de CloudWatch journaux associés à un environnement. Les groupes de journaux sont nommés au format suivant :airflow-YourEnvironmentName-LogType. Par exemple, si votre environnement est nomméAirflow-v202-Public, les journaux de tâches d'Apache Airflow sont envoyés àairflow-Airflow-v202-Public-Task.

Type de journal Description

airflow-YourEnvironmentName-DAGProcessing

Les journaux du gestionnaire de processeurs DAG (partie du planificateur qui traite les fichiers DAG).

airflow-YourEnvironmentName-Scheduler

Les journaux générés par le planificateur Airflow.

airflow-YourEnvironmentName-Task

Les journaux de tâches générés par un DAG.

airflow-YourEnvironmentName-WebServer

Les journaux générés par l'interface Web Airflow.

airflow-YourEnvironmentName-Worker

Les journaux générés dans le cadre du flux de travail et de l'exécution du DAG.

Activation des journaux Apache Airflow

Vous pouvez activer les journaux Apache Airflow au CRITICAL niveau INFOWARNING,ERROR, ou. Lorsque vous choisissez un niveau de journalisation, Amazon MWAA envoie des journaux correspondant à ce niveau et à tous les niveaux de gravité supérieurs. Par exemple, si vous activez les journaux au INFO niveau, Amazon MWAA envoie les INFO journaux et WARNINGERROR, et les niveaux de CRITICAL journalisation à CloudWatch Logs.

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez Modifier.

  4. Choisissez Suivant.

  5. Choisissez une ou plusieurs des options de journalisation suivantes :

    1. Choisissez le groupe de journaux du planificateur Airflow dans le volet Surveillance.

    2. Choisissez le groupe de journaux du serveur Web Airflow dans le volet Surveillance.

    3. Choisissez le groupe de journaux Airflow Worker dans le volet Surveillance.

    4. Choisissez le groupe de journaux de traitement Airflow DAG dans le volet Surveillance.

    5. Choisissez le groupe de journaux des tâches Airflow dans le volet Surveillance.

    6. Choisissez le niveau de journalisation dans Niveau de journalisation.

  6. Choisissez Suivant.

  7. Choisissez Enregistrer.

Accès aux journaux Apache Airflow

La section suivante décrit comment accéder aux journaux d'Apache Airflow dans la CloudWatch console.

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez un groupe de journaux dans le volet Surveillance.

  4. Choisissez un flux de connexion.

Exemples de journaux du planificateur

Vous pouvez accéder aux journaux d'Apache Airflow pour le planificateur qui planifie vos flux de travail et analyse votre dossier. dags Les étapes suivantes décrivent comment ouvrir le groupe de journaux pour le planificateur sur la console Amazon MWAA et comment accéder aux journaux Apache Airflow sur la CloudWatch console Logs.

Pour accéder aux journaux d'un fichier requirements.txt

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez le groupe de journaux du planificateur Airflow dans le volet Surveillance.

  4. Choisissez l'option requirements_install_ip Login Log streams.

  5. Consultez la liste des packages installés sur l'environnement à l'adresse/usr/local/airflow/.local/bin. Par exemple :

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consultez la liste des packages et vérifiez si l'un d'entre eux a rencontré une erreur lors de l'installation. En cas de problème, il se peut que vous obteniez une erreur similaire à la suivante :

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Quelle est la prochaine étape ?