Fehlerbehebung: DAGs, Operatoren, Verbindungen und andere Probleme

Erfahren Sie in, wie Sie geheime Schlüssel für Ihre Apache Airflow-Verbindung und Variablen erstellen. Konfiguration einer Apache Airflow Airflow-Verbindung mit einem AWS Secrets Manager Secret

Erfahren Sie, wie Sie den geheimen Schlüssel für eine Apache Airflow-Variable (test-variable) in verwenden. Verwendung eines geheimen Schlüssels AWS Secrets Manager für eine Apache Airflow Airflow-Variable

Erfahren Sie, wie Sie den geheimen Schlüssel für eine Apache Airflow-Verbindung (myconn) in verwenden. Verwendung eines geheimen Schlüssels AWS Secrets Manager für eine Apache Airflow Airflow-Verbindung

Testen Sie Ihre DAGs, benutzerdefinierten Plugins und Python-Abhängigkeiten lokal mit aws-mwaa-docker-images on. GitHub

Fügen Sie der requirements.txt für Ihre Umgebung die folgenden Einträge hinzu.

apache-airflow-providers-snowflake==1.3.0

Fügen Sie Ihrer DAG die folgenden Importe hinzu:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

Conn-ID: snowflake_conn

Conn-Typ: Schneeflocke

<my account>Gastgeber:. <my region if not us-west-2>.snowflakecomputing.com

Schema: <my schema>

Einloggen: <my user name>

Passwort: ********

Hafen: <port, if any>

Extra:

{
    "account": "<my account>",
    "warehouse": "<my warehouse>",
    "database": "<my database>",
    "region": "<my region if not using us-west-2 otherwise omit this line>"
}

Greifen Sie auf die Verbindungstypen zu, die Amazon MWAA in der Apache Airflow-Benutzeroberfläche bereitstellt, unter. Apache Airflow-Provider-Pakete, die in Amazon MWAA-Umgebungen installiert sind

Greifen Sie in der CLI unter auf die Befehle zum Erstellen einer Apache Airflow-Verbindung zu. Apache Airflow CLI-Befehlsreferenz

Erfahren Sie, wie Sie Verbindungsvorlagen in der Apache Airflow-Benutzeroberfläche synonym für Verbindungstypen verwenden, die in der Apache Airflow-Benutzeroberfläche auf Amazon MWAA unter nicht verfügbar sind. Übersicht der Verbindungsarten

Überprüfen Sie die Apache Airflow-Konfigurationsoptionen. Stellen Sie sicher, dass die Schlüssel-Wert-Paare, die Sie als Apache Airflow-Konfigurationsoption angegeben haben, wie AWS Secrets Manager z. B., korrekt konfiguriert wurden. Weitere Informationen finden Sie unter. Ich kann keine Verbindung zu Secrets Manager herstellen

Überprüfe dasrequirements.txt. Stellen Sie sicher, dass das Airflow-Paket „Extras“ und andere in Ihrem Verzeichnis aufgelistete Bibliotheken mit Ihrer Apache Airflow-Version kompatibel requirements.txt sind.

Informieren Sie sich über Möglichkeiten, Python-Abhängigkeiten in einer requirements.txt Datei anzugeben, siehe. Verwaltung von Python-Abhängigkeiten in requirements.txt

Vergewissern Sie sich, dass Ihre VPC-Sicherheitsgruppe eingehenden Zugriff auf den Port zulässt. 5432 Dieser Port wird benötigt, um eine Verbindung zur Amazon Aurora PostgreSQL-Metadatendatenbank für Ihre Umgebung herzustellen. Nachdem diese Regel hinzugefügt wurde, geben Sie Amazon MWAA einige Minuten Zeit, und der Fehler kann verschwinden. Weitere Informationen finden Sie unter. Sicherheit in Ihrer VPC auf Amazon MWAA

Wenn der Scheduler nicht läuft, kann das auf eine Reihe von Faktoren zurückzuführen sein, z. B. auf Fehler bei der Installation von Abhängigkeiten oder auf einen überlasteten Scheduler. Vergewissern Sie sich, dass Ihre DAGs, Plugins und Anforderungen ordnungsgemäß funktionieren, indem Sie auf die entsprechenden Protokollgruppen in Logs zugreifen. CloudWatch Weitere Informationen finden Sie unter. Überwachung und Metriken für Amazon Managed Workflows für Apache Airflow

Möglicherweise ist eine große Anzahl von DAGs definiert. Reduzieren Sie die Anzahl der DAGs und führen Sie ein Update der Umgebung durch (z. B. das Ändern eines Log-Levels), um einen Reset zu erzwingen.

1. Airflow analysiert DAGs, unabhängig davon, ob sie aktiviert sind oder nicht. Wenn Sie mehr als 50% der Kapazität Ihrer Umgebung nutzen, könnten Sie anfangen, den Apache Airflow-Scheduler zu überfordern. Dies führt zu einer hohen Gesamtanalysezeit in CloudWatch Metriken oder zu langen DAG-Verarbeitungszeiten in Protokollen. CloudWatch Es gibt andere Möglichkeiten zur Optimierung von Apache Airflow-Konfigurationen, die nicht in diesem Handbuch behandelt werden.

2. Weitere Informationen zu den bewährten Methoden, die wir zur Optimierung der Leistung Ihrer Umgebung empfehlen, finden Sie Leistungsoptimierung für Apache Airflow auf Amazon MWAA unter.

Möglicherweise befindet sich eine große Anzahl von Aufgaben in der Warteschlange. Dies wird oft als eine große — und wachsende — Anzahl von Aufgaben im None Bundesstaat oder als eine große Anzahl von Aufgaben angezeigt. Queued Tasks and/or Tasks Pending CloudWatch Dies kann aus den folgenden Gründen auftreten:

1. Wenn mehr Aufgaben ausgeführt werden müssen, als die Umgebung die Kapazität zur Ausführung hat, hat and/or eine große Anzahl von Aufgaben, die vor der automatischen Skalierung in die Warteschlange gestellt wurden, Zeit, die Aufgaben zu erkennen und zusätzliche Mitarbeiter einzusetzen.

2. Wenn mehr Aufgaben ausgeführt werden müssen, als eine Umgebung ausführen kann, empfehlen wir, die Anzahl der Aufgaben, die Ihre DAGs gleichzeitig ausführen, zu reduzieren und die Mindestanzahl an Apache Airflow-Workern and/or zu erhöhen.

3. Wenn es eine große Anzahl von Aufgaben gibt, die in die Warteschlange gestellt wurden, bevor Autoscaling Zeit hatte, zusätzliche Worker zu erkennen und einzusetzen, empfehlen wir, die Aufgaben gestaffelt bereitzustellen und die Mindestanzahl an Apache Airflow-Workern zu and/or erhöhen.

4. Sie können den Befehl update-environment in der AWS Command Line Interface (AWS CLI) verwenden, um die Mindest- oder Höchstanzahl von Workern zu ändern, die in Ihrer Umgebung ausgeführt werden.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Weitere Informationen zu den bewährten Methoden, die wir zur Optimierung der Leistung Ihrer Umgebung empfehlen, finden Sie unter. Leistungsoptimierung für Apache Airflow auf Amazon MWAA

Wenn Ihre Aufgaben im Status „Wird ausgeführt“ hängen bleiben, können Sie die Aufgaben auch löschen oder sie als erfolgreich oder nicht erfolgreich markieren. Dadurch kann die Autoscaling-Komponente für Ihre Umgebung die Anzahl der Worker, die in Ihrer Umgebung ausgeführt werden, herunterskalieren. Die folgende Abbildung zeigt ein Beispiel für eine ungenutzte Aufgabe.

1. Wählen Sie den Kreis für die Aufgabe ohne Verbindung aus und klicken Sie dann auf Löschen (wie in der Abbildung gezeigt). Dadurch kann Amazon MWAA Mitarbeiter herunterskalieren. Andernfalls kann Amazon MWAA nicht feststellen, welche DAGs aktiviert oder deaktiviert sind, und kann auch nicht herunterskalieren, wenn es immer noch Aufgaben in der Warteschlange gibt.

   

Weitere Informationen zum Lebenszyklus der Apache Airflow-Aufgaben finden Sie unter Konzepte im Apache Airflow-Referenzhandbuch.

Testen Sie Ihre DAGs, benutzerdefinierten Plugins und Python-Abhängigkeiten lokal mit https://github.com/aws/amazon-mwaa-docker-images aws-mwaa-docker-images on. GitHub

Erstellen Sie Ihr „Transform“ -Skript.

#!/bin/bash
cp $1 $2

(optional) macOS- und Linux-Benutzer müssen möglicherweise den folgenden Befehl ausführen, um sicherzustellen, dass das Skript ausführbar ist.

chmod 777 transform_test.sh

Fügen Sie das Skript zu Ihrer plugins.zip hinzu.

zip plugins.zip transform_test.sh

Folgen Sie den Schritten unter Laden Sie die Datei plugins.zip auf Amazon S3 hoch.

Folgen Sie den Schritten unter Angeben der Version von plugins.zip auf der Amazon MWAA-Konsole.

Erstellen Sie die folgende DAG.

from airflow import DAG
from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
from airflow.utils.dates import days_ago
import os

DAG_ID = os.path.basename(__file__).replace(".py", "")

with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    file_transform = S3FileTransformOperator(
        task_id='file_transform',
        transform_script='/usr/local/airflow/plugins/transform_test.sh',
        source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
        dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
    )

Folgen Sie den Schritten unter DAG-Code auf Amazon S3 DAG-Code auf Amazon S3 hochladen hochladen.