Erstellen eines benutzerdefinierten Plugins, das Laufzeitumgebungsvariablen generiert - Amazon Managed Workflows für Apache Airflow
VersionVoraussetzungenBerechtigungenVoraussetzungenBenutzerdefiniertes PluginPlugins.zipAirflow-KonfigurationsoptionenAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines benutzerdefinierten Plugins, das Laufzeitumgebungsvariablen generiert

Das folgende Beispiel führt Sie durch die Schritte zur Erstellung eines benutzerdefinierten Plugins, das Umgebungsvariablen zur Laufzeit in einer Amazon Managed Workflows for Apache Airflow-Umgebung generiert.

Version

  • Der Beispielcode auf dieser Seite kann mit Apache Airflow v1 in Python 3.7 verwendet werden.

Voraussetzungen

Um den Beispielcode auf dieser Seite verwenden zu können, benötigen Sie Folgendes:

Berechtigungen

  • Für die Verwendung des Codebeispiels auf dieser Seite sind keine zusätzlichen Berechtigungen erforderlich.

Voraussetzungen

  • Um dieses Codebeispiel mit Apache Airflow v1 zu verwenden, sind keine zusätzlichen Abhängigkeiten erforderlich. Der Code verwendet die Apache Airflow v1-Basisinstallation in Ihrer Umgebung.

Benutzerdefiniertes Plugin

Apache Airflow führt beim Start den Inhalt der Python-Dateien im Plugins-Ordner aus. Dies wird verwendet, um Umgebungsvariablen festzulegen und zu ändern. In den folgenden Schritten wird der Beispielcode für das benutzerdefinierte Plugin beschrieben.

  1. Navigieren Sie in der Befehlszeile zu dem Verzeichnis, in dem Ihre Plugins gespeichert sind. Zum Beispiel:

    cd plugins

  2. Kopieren Sie den Inhalt des folgenden Codebeispiels und speichern Sie ihn lokal wie env_var_plugin.py im obigen Ordner.

    from airflow.plugins_manager import AirflowPlugin
import os

os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" 
os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"

class EnvVarPlugin(AirflowPlugin):                
     name = 'env_var_plugin'

Plugins.zip

Die folgenden Schritte zeigen, wie man erstelltplugins.zip. Der Inhalt dieses Beispiels kann mit anderen Plugins und Binärdateien in einer einzigen plugins.zip Datei kombiniert werden.

  1. Navigieren Sie in der Befehlszeile zu dem hive_plugin Verzeichnis aus dem vorherigen Schritt. Zum Beispiel:

    cd plugins

  2. Komprimieren Sie den Inhalt Ihres plugins Ordners.

    zip -r ../plugins.zip ./

Airflow-Konfigurationsoptionen

Wenn Sie Apache Airflow v2 verwenden, fügen Sie es core.lazy_load_plugins : False als Apache Airflow-Konfigurationsoption hinzu. Weitere Informationen finden Sie unter Verwenden von Konfigurationsoptionen zum Laden von Plugins in 2.

Als nächstes