Airflow-Protokolle in Amazon anzeigen CloudWatch - Amazon Managed Workflows für Apache Airflow
PreisgestaltungBevor Sie beginnenTypen von ProtokollenApache Airflow-Protokolle aktivierenApache Airflow-Protokolle anzeigenBeispiel für Scheduler-ProtokolleAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Airflow-Protokolle in Amazon anzeigen CloudWatch

Amazon MWAA kann Apache Airflow-Protokolle an Amazon CloudWatch senden. Sie können Protokolle für mehrere Umgebungen von einem einzigen Standort aus einsehen, um Verzögerungen oder Workflow-Fehler bei Apache Airflow leicht zu identifizieren, ohne dass zusätzliche Tools von Drittanbietern erforderlich sind. Apache Airflow-Protokolle müssen auf der Amazon Managed Workflows for Apache Airflow-Konsole aktiviert sein, um die Apache DAG Airflow-Verarbeitung, die Aufgaben, den Webserver und die Worker-Anmeldungen anzeigen zu können. CloudWatch

Preisgestaltung

  • Es fallen Standardgebühren für CloudWatch Logs an. Weitere Informationen finden Sie unter CloudWatch Preise.

Bevor Sie beginnen

Typen von Protokollen

Amazon MWAA erstellt für jede Airflow-Protokollierungsoption, die Sie aktivieren, eine Protokollgruppe und überträgt die Protokolle an die Logs-Gruppen, die CloudWatch einer Umgebung zugeordnet sind. Protokollgruppen werden im folgenden Format benannt:. YourEnvironmentName-LogType Wenn Ihre Umgebung beispielsweise benannt istAirflow-v202-Public, werden Apache Airflow-Taskprotokolle an Airflow-v202-Public-Task gesendet.

Protokolltyp Beschreibung

YourEnvironmentName-DAGProcessing

Die Protokolle des DAG Prozessormanagers (der Teil des Schedulers, der DAG Dateien verarbeitet).

YourEnvironmentName-Scheduler

Die vom Airflow-Scheduler generierten Protokolle.

YourEnvironmentName-Task

Die Aufgabenprotokolle, die generiert werden. DAG

YourEnvironmentName-WebServer

Die von der Airflow-Weboberfläche generierten Protokolle.

YourEnvironmentName-Worker

Die im Rahmen des Workflows und der DAG Ausführung generierten Protokolle.

Apache Airflow-Protokolle aktivieren

Sie können Apache Airflow-Protokolle auf der EbeneINFO, WARNINGERROR, oder CRITICAL aktivieren. Wenn Sie eine Protokollebene wählen, MWAA sendet Amazon Protokolle für diese Stufe und alle höheren Schweregrade. Wenn Sie beispielsweise Protokolle auf der INFO Ebene aktivieren, MWAA sendet Amazon INFO Protokolle und WARNINGERROR, und CRITICAL Protokollebenen an CloudWatch Logs.

  1. Öffnen Sie die Seite Umgebungen auf der MWAA Amazon-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie Edit (Bearbeiten) aus.

  4. Wählen Sie Weiter.

  5. Wählen Sie eine oder mehrere der folgenden Protokollierungsoptionen aus:

    1. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

    2. Wählen Sie im Bereich Überwachung die Airflow-Webserver-Protokollgruppe aus.

    3. Wählen Sie im Bereich Überwachung die Airflow-Worker-Protokollgruppe aus.

    4. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow DAG Processing aus.

    5. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Task aus.

    6. Wählen Sie die Protokollierungsebene unter Protokollebene aus.

  6. Wählen Sie Weiter.

  7. Wählen Sie Save (Speichern) aus.

Apache Airflow-Protokolle anzeigen

Im folgenden Abschnitt wird beschrieben, wie Apache Airflow-Protokolle in der CloudWatch Konsole angezeigt werden.

  1. Öffnen Sie die Seite Umgebungen auf der MWAA Amazon-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung eine Protokollgruppe aus.

  4. Wählen Sie ein Protokoll im Protokollstream aus.

Beispiel für Scheduler-Protokolle

Sie können Apache Airflow-Protokolle für den Scheduler einsehen, um Ihre Workflows zu planen und Ihren Ordner zu analysieren. dags In den folgenden Schritten wird beschrieben, wie Sie die Protokollgruppe für den Scheduler auf der MWAA Amazon-Konsole öffnen und Apache Airflow-Protokolle in der CloudWatch Logs-Konsole anzeigen.

Um Protokolle für ein anzuzeigen requirements.txt

  1. Öffnen Sie die Seite Umgebungen auf der MWAA Amazon-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

  4. Wählen Sie unter requirements_install_ip Log-Streams die Option Log Streams aus.

  5. Sie sollten die Liste der Pakete, die in der Umgebung installiert wurden, unter finden/usr/local/airflow/.local/bin. Beispielsweise:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Überprüfen Sie die Liste der Pakete und ob bei der Installation eines dieser Pakete ein Fehler aufgetreten ist. Wenn etwas schief gelaufen ist, wird möglicherweise ein Fehler ähnlich dem folgenden angezeigt:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Als nächstes