View a markdown version of this page

Zugreifen auf Airflow-Protokolle in Amazon CloudWatch - Von Amazon verwaltete Workflows für Apache Airflow
PreisgestaltungBevor Sie beginnenTypen von ProtokollenAktivierung der Apache Airflow-ProtokolleZugreifen auf Apache Airflow-ProtokolleBeispiel für Scheduler-ProtokolleAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Zugreifen auf Airflow-Protokolle in Amazon CloudWatch

Amazon MWAA kann Apache Airflow-Protokolle an Amazon senden. CloudWatch Sie können von einem einzigen Standort aus auf Protokolle für mehrere Umgebungen zugreifen, um Verzögerungen oder Workflow-Fehler bei Apache Airflow-Aufgaben ohne zusätzliche Tools von Drittanbietern einfach zu identifizieren. Apache Airflow-Protokolle müssen auf der Amazon Managed Workflows for Apache Airflow-Konsole aktiviert sein, um auf die Apache Airflow DAG-Verarbeitung, Aufgaben, Webserver und Worker-Logins zugreifen zu können. CloudWatch

Preisgestaltung

  • Es fallen die Standardgebühren für Logs CloudWatch an. Weitere Informationen finden Sie unter CloudWatch Preise.

Bevor Sie beginnen

Typen von Protokollen

Amazon MWAA erstellt eine Protokollgruppe für jede Airflow-Protokollierungsoption, die Sie aktivieren, und überträgt die Protokolle an die Logs-Gruppen, die einer CloudWatch Umgebung zugeordnet sind. Protokollgruppen werden im folgenden Format benannt:. airflow-YourEnvironmentName-LogType Wenn Ihre Umgebung beispielsweise benannt istAirflow-v202-Public, werden die Apache Airflow-Aufgabenprotokolle an airflow-Airflow-v202-Public-Task gesendet.

Protokolltyp Description

airflow-YourEnvironmentName-DAGProcessing

Die Protokolle des DAG-Prozessormanagers (der Teil des Schedulers, der DAG-Dateien verarbeitet).

airflow-YourEnvironmentName-Scheduler

Die Protokolle, die der Airflow-Scheduler generiert.

airflow-YourEnvironmentName-Task

Die Aufgabenprotokolle, die eine DAG generiert.

airflow-YourEnvironmentName-WebServer

Die Protokolle, die die Airflow-Weboberfläche generiert.

airflow-YourEnvironmentName-Worker

Die Protokolle, die im Rahmen des Workflows und der DAG-Ausführung generiert wurden.

Aktivierung der Apache Airflow-Protokolle

Sie können die Apache Airflow-Protokolle auf der EbeneINFO, WARNINGERROR, oder CRITICAL aktivieren. Wenn Sie eine Protokollebene wählen, sendet Amazon MWAA Protokolle für diese Stufe und alle höheren Schweregrade. Wenn Sie beispielsweise Protokolle auf dieser INFO Ebene aktivieren, sendet Amazon MWAA INFO Protokolle und WARNINGERROR, und Log-Levels an CRITICAL Logs. CloudWatch

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie Bearbeiten aus.

  4. Wählen Sie Weiter aus.

  5. Wählen Sie eine oder mehrere der folgenden Protokollierungsoptionen:

    1. Wählen Sie im Bereich Überwachung die Airflow Scheduler-Protokollgruppe aus.

    2. Wählen Sie im Bereich Überwachung die Airflow-Webserver-Protokollgruppe aus.

    3. Wählen Sie im Bereich Überwachung die Airflow Worker-Protokollgruppe aus.

    4. Wählen Sie im Bereich Überwachung die Airflow DAG-Verarbeitungsprotokollgruppe aus.

    5. Wählen Sie im Bereich Überwachung die Airflow-Task-Protokollgruppe aus.

    6. Wählen Sie die Protokollierungsebene unter Protokollebene aus.

  6. Wählen Sie Weiter aus.

  7. Wählen Sie Speichern.

Zugreifen auf Apache Airflow-Protokolle

Im folgenden Abschnitt wird beschrieben, wie Sie auf die Apache Airflow-Protokolle in der CloudWatch Konsole zugreifen.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung eine Protokollgruppe aus.

  4. Wählen Sie ein Protokoll im Log-Stream aus.

Beispiel für Scheduler-Protokolle

Sie können auf die Apache Airflow-Protokolle zugreifen, damit der Scheduler Ihre Workflows plant und Ihren Ordner analysiert. dags In den folgenden Schritten wird beschrieben, wie Sie die Protokollgruppe für den Scheduler auf der Amazon MWAA-Konsole öffnen und in der Logs-Konsole auf die Apache Airflow-Protokolle zugreifen. CloudWatch

So greifen Sie auf Protokolle für eine Datei requirements.txt zu

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung die Airflow Scheduler-Protokollgruppe aus.

  4. Wählen Sie das requirements_install_ip Log in Log Streams aus.

  5. Weitere Informationen finden Sie in der Liste der Pakete, die in der Umgebung unter installiert wurden/usr/local/airflow/.local/bin. Beispiel:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Prüfen Sie die Liste der Pakete und ob bei einem dieser Pakete während der Installation ein Fehler aufgetreten ist. Wenn etwas schief gelaufen ist, wird möglicherweise eine Fehlermeldung ähnlich der folgenden angezeigt:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Als nächstes