Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden der Apache Airflow-Konfigurationsoptionen auf Amazon MWAA

Die Apache Airflow-Konfigurationsoptionen können als Umgebungsvariablen an Ihre Amazon Managed Workflows for Apache Airflow-Umgebung angehängt werden. Sie können aus der vorgeschlagenen Dropdownliste wählen oder benutzerdefinierte Konfigurationsoptionen für Ihre Apache Airflow-Version auf der Amazon MWAA-Konsole angeben. In diesem Thema werden die verfügbaren Apache Airflow-Konfigurationsoptionen beschrieben und wie Sie diese Optionen verwenden, um die Apache Airflow-Konfigurationseinstellungen in Ihrer Umgebung zu überschreiben.

Voraussetzungen

Sie benötigen Folgendes, bevor Sie die Schritte auf dieser Seite ausführen können.

Funktionsweise

Wenn Sie eine Umgebung erstellen, hängt Amazon MWAA die Konfigurationseinstellungen, die Sie auf der Amazon MWAA-Konsole in den Airflow-Konfigurationsoptionen angeben, als Umgebungsvariablen an den Container für Ihre Umgebung an. AWS Fargate Wenn Sie eine gleichnamige Einstellung in verwenden, überschreiben die Optionenairflow.cfg, die Sie auf der Amazon MWAA-Konsole angeben, die Werte in. airflow.cfg

Wir stellen die airflow.cfg in der Apache Airflow-Benutzeroberfläche einer Amazon MWAA-Umgebung standardmäßig nicht zur Verfügung, aber Sie können die Apache Airflow-Konfigurationsoptionen direkt auf der Amazon MWAA-Konsole ändern, einschließlich der Einstellung, dass die Konfigurationen angezeigt werden. webserver.expose_config

Verwenden von Konfigurationsoptionen zum Laden von Plugins

In Apache Airflow v2 und höher sind Plugins standardmäßig so konfiguriert, dass sie mithilfe dieser Einstellung „träge“ geladen werden. core.lazy_load_plugins : True Wenn Sie benutzerdefinierte Plugins verwenden, müssen Sie core.lazy_load_plugins : False als Apache Airflow-Konfigurationsoption hinzufügen, um Plugins zu Beginn jedes Airflow-Prozesses zu laden, um die Standardeinstellung außer Kraft zu setzen.

Überblick über die Konfigurationsoptionen

Wenn Sie eine Konfiguration auf der Amazon MWAA-Konsole hinzufügen, schreibt Amazon MWAA die Konfiguration als Umgebungsvariable.

Konfigurationsoptionen für Apache Airflow

Die folgende Abbildung zeigt, wo Sie die Apache Airflow-Konfigurationsoptionen auf der Amazon MWAA-Konsole anpassen können.

Apache Airflow-Referenz

Eine Liste der von Apache Airflow unterstützten Konfigurationsoptionen finden Sie in der Konfigurationsreferenz im Apache Airflow-Referenzhandbuch. Um auf die Optionen für die Version von Apache Airflow zuzugreifen, die Sie auf Amazon MWAA ausführen, wählen Sie die Version aus der Dropdownliste aus.

Verwenden Sie die Amazon MWAA-Konsole

Das folgende Verfahren führt Sie Schritt für Schritt durch das Hinzufügen einer Airflow-Konfigurationsoption zu Ihrer Umgebung.

Konfigurationsreferenz

Der folgende Abschnitt enthält die Liste der verfügbaren Apache Airflow-Konfigurationen in der Dropdownliste auf der Amazon MWAA-Konsole.

E-Mail-Konfigurationen

Die folgende Liste zeigt die Konfigurationsoptionen für Airflow-E-Mail-Benachrichtigungen, die auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Wir empfehlen, Port 587 für SMTP-Verkehr zu verwenden. AWS Blockiert standardmäßig ausgehenden SMTP-Verkehr auf Port 25 aller Amazon EC2-Instances. Wenn Sie ausgehenden Datenverkehr auf Port 25 senden möchten, können Sie beantragen, dass diese Einschränkung aufgehoben wird.

Konfigurationen der Aufgaben

Die folgende Liste zeigt die Konfigurationen, die in der Dropdownliste für Airflow-Aufgaben auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Scheduler-Konfigurationen

Die folgende Liste zeigt die Apache Airflow Scheduler-Konfigurationen, die in der Dropdownliste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Worker-Konfigurationen

Die folgende Liste zeigt die Airflow-Worker-Konfigurationen, die in der Dropdownliste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Webserver-Konfigurationen

Die folgende Liste zeigt die Apache Airflow-Webserverkonfigurationen, die in der Dropdownliste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Triggerer-Konfigurationen

Die folgende Liste zeigt die Apache https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/deferring.html Airflow-Triggerkonfigurationen, die auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Konfigurationen werden nicht unterstützt

Die folgenden Apache Airflow-Konfigurationsoptionen sind in Amazon MWAA nicht verfügbar. Sie können diese Optionen nicht mithilfe der Amazon MWAA-Konsole oder API festlegen oder überschreiben.

Beispiele und Beispielcode

Beispiel DAG

Sie können die folgende DAG verwenden, um Ihre email_backend Apache Airflow-Konfigurationsoptionen zu drucken. Um als Reaktion auf Amazon MWAA-Ereignisse auszuführen, kopieren Sie den Code in den DAGs-Ordner Ihrer Umgebung in Ihrem Amazon S3-Speicher-Bucket.

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

Beispiel für Einstellungen für E-Mail-Benachrichtigungen

Die folgenden Apache Airflow-Konfigurationsoptionen können für ein Gmail.com E-Mail-Konto mit einem App-Passwort verwendet werden. Weitere Informationen finden Sie im Referenzhandbuch der Gmail-Hilfe unter Mit App-Passwörtern https://support.google.com/mail/answer/185833?hl=en-GB anmelden.

Als nächstes