Airflow-Protokolle in Amazon anzeigen CloudWatch - Amazon Managed Workflows für Apache Airflow
PreisgestaltungBevor Sie beginnenTypen von ProtokollenApache Airflow-Protokolle aktivierenApache Airflow-Protokolle anzeigenBeispiel für Scheduler-ProtokolleAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Airflow-Protokolle in Amazon anzeigen CloudWatch

Amazon MWAA kann Apache Airflow-Protokolle an Amazon senden. CloudWatch Sie können Protokolle für mehrere Umgebungen von einem einzigen Standort aus einsehen, um Verzögerungen oder Workflow-Fehler bei Apache Airflow leicht zu identifizieren, ohne dass zusätzliche Tools von Drittanbietern erforderlich sind. Apache Airflow-Protokolle müssen auf der Amazon Managed Workflows for Apache Airflow-Konsole aktiviert sein, um die Apache Airflow DAG-Verarbeitung, Aufgaben, Webserver und Worker-Anmeldungen anzuzeigen. CloudWatch

Preisgestaltung

  • Es fallen Standardgebühren für CloudWatch Logs an. Weitere Informationen finden Sie unter CloudWatch Preise.

Bevor Sie beginnen

Typen von Protokollen

Amazon MWAA erstellt für jede Airflow-Protokollierungsoption, die Sie aktivieren, eine Protokollgruppe und überträgt die Protokolle an die Protokollgruppen, die einer CloudWatch Umgebung zugeordnet sind. Protokollgruppen werden im folgenden Format benannt:. YourEnvironmentName-LogType Wenn Ihre Umgebung beispielsweise benannt istAirflow-v202-Public, werden Apache Airflow-Taskprotokolle an Airflow-v202-Public-Task gesendet.

Protokolltyp Beschreibung

YourEnvironmentName-DAGProcessing

Die Protokolle des DAG-Prozessor-Managers (der Teil des Schedulers, der DAG-Dateien verarbeitet).

YourEnvironmentName-Scheduler

Die vom Airflow-Scheduler generierten Protokolle.

YourEnvironmentName-Task

Die Aufgabenprotokolle, die eine DAG generiert.

YourEnvironmentName-WebServer

Die von der Airflow-Weboberfläche generierten Protokolle.

YourEnvironmentName-Worker

Die im Rahmen der Workflow- und DAG-Ausführung generierten Protokolle.

Apache Airflow-Protokolle aktivieren

Sie können Apache Airflow-Protokolle auf der EbeneINFO, WARNINGERROR, oder CRITICAL aktivieren. Wenn Sie eine Protokollebene wählen, sendet Amazon MWAA Protokolle für diese Stufe und alle höheren Schweregrade. Wenn Sie beispielsweise Protokolle auf der INFO Ebene aktivieren, sendet Amazon MWAA INFO Protokolle und WARNINGERROR, und Protokollebenen an CRITICAL CloudWatch Logs.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie Edit (Bearbeiten) aus.

  4. Wählen Sie Weiter.

  5. Wählen Sie eine oder mehrere der folgenden Protokollierungsoptionen:

    1. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

    2. Wählen Sie im Bereich Überwachung die Airflow-Webserver-Protokollgruppe aus.

    3. Wählen Sie im Bereich Überwachung die Airflow-Worker-Protokollgruppe aus.

    4. Wählen Sie im Bereich Überwachung die Airflow DAG-Verarbeitungsprotokollgruppe aus.

    5. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Task aus.

    6. Wählen Sie die Protokollierungsebene unter Protokollebene aus.

  6. Wählen Sie Weiter.

  7. Wählen Sie Save (Speichern) aus.

Apache Airflow-Protokolle anzeigen

Im folgenden Abschnitt wird beschrieben, wie Apache Airflow-Protokolle in der CloudWatch Konsole angezeigt werden.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung eine Protokollgruppe aus.

  4. Wählen Sie ein Protokoll im Protokollstream aus.

Beispiel für Scheduler-Protokolle

Sie können sich die Apache Airflow-Protokolle für den Scheduler ansehen, um Ihre Workflows zu planen und Ihren Ordner zu analysieren. dags In den folgenden Schritten wird beschrieben, wie Sie die Protokollgruppe für den Scheduler auf der Amazon MWAA-Konsole öffnen und Apache Airflow-Protokolle in der Logs-Konsole anzeigen. CloudWatch

Um Protokolle für ein anzuzeigen requirements.txt

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

  4. Wählen Sie unter requirements_install_ip Log-Streams die Option Log Streams aus.

  5. Sie sollten die Liste der Pakete, die in der Umgebung installiert wurden, unter finden/usr/local/airflow/.local/bin. Zum Beispiel:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Überprüfen Sie die Liste der Pakete und ob bei der Installation eines dieser Pakete ein Fehler aufgetreten ist. Wenn etwas schief gelaufen ist, wird möglicherweise ein Fehler ähnlich dem folgenden angezeigt:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Als nächstes