Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Creazione di un plugin personalizzato che genera variabili di ambiente di runtime
L'esempio seguente illustra i passaggi per creare un plug-in personalizzato che generi variabili di ambiente in fase di esecuzione in un ambiente Amazon Managed Workflows for Apache Airflow.
Argomenti
Versione
-
Il codice di esempio in questa pagina può essere utilizzato con Apache Airflow v1 in Python 3.7
.
Prerequisiti
Per utilizzare il codice di esempio in questa pagina, è necessario quanto segue:
Autorizzazioni
-
Non sono necessarie autorizzazioni aggiuntive per utilizzare l'esempio di codice in questa pagina.
Requisiti
-
Per utilizzare questo esempio di codice con Apache Airflow v1, non sono necessarie dipendenze aggiuntive. Il codice utilizza l'installazione di base di Apache Airflow v1
nell'ambiente in uso.
Plug-in personalizzato
Apache Airflow eseguirà il contenuto dei file Python nella cartella dei plugin all'avvio. Viene utilizzato per impostare e modificare le variabili di ambiente. Nei passaggi seguenti viene illustrato il codice di esempio per il plugin personalizzato.
-
Nella directory in cui sono archiviati i plugin. Ad esempio:
cd plugins
-
Copiare il contenuto del seguente esempio di codice e salvare localmente come
env_var_plugin.py
nella directory precedente.from airflow.plugins_manager import AirflowPlugin import os os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64" class EnvVarPlugin(AirflowPlugin): name = 'env_var_plugin'
Plugins.zip
Nei passaggi seguenti viene illustrato come creareplugins.zip
. Il contenuto di questo esempio può essere combinato con altri plugin e binari in un unicoplugins.zip
file.
-
Nella directory del prompt dei comandi, passare alla
hive_plugin
directory del passaggio precedente. Ad esempio:cd plugins
-
Comprimi i contenuti all'interno della
plugins
cartella.zip -r ../plugins.zip ./
Opzioni di configurazione del flusso d'aria
Se utilizzi Apache Airflow v2, aggiungilocore.lazy_load_plugins : False
come opzione di configurazione di Apache Airflow. Per ulteriori informazioni, consulta Utilizzo delle opzioni di configurazione per caricare i plugin in 2.
Fasi successive
-
Scopri come caricare il
requirements.txt
file di questo esempio nel tuo bucket in Amazon S3Installazione delle dipendenze in Python. -
Scopri come caricare il codice DAG di questo esempio
dags
nella cartella del tuo bucket in Amazon S3Aggiunta o aggiornamento di DAG. -
Scopri di più su come caricare il
plugins.zip
file di questo esempio nel tuo bucket in Amazon S3Installazione di plugin personalizzati.