Creazione di un plugin personalizzato che genera variabili di ambiente di runtime - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un plugin personalizzato che genera variabili di ambiente di runtime

L'esempio seguente illustra i passaggi per creare un plug-in personalizzato che generi variabili di ambiente in fase di esecuzione in un ambiente Amazon Managed Workflows for Apache Airflow.

Versione

  • Il codice di esempio in questa pagina può essere utilizzato con Apache Airflow v1 in Python 3.7.

Prerequisiti

Per utilizzare il codice di esempio in questa pagina, è necessario quanto segue:

Autorizzazioni

  • Non sono necessarie autorizzazioni aggiuntive per utilizzare l'esempio di codice in questa pagina.

Requisiti

Plug-in personalizzato

Apache Airflow eseguirà il contenuto dei file Python nella cartella dei plugin all'avvio. Viene utilizzato per impostare e modificare le variabili di ambiente. Nei passaggi seguenti viene illustrato il codice di esempio per il plugin personalizzato.

  1. Nella directory in cui sono archiviati i plugin. Ad esempio:

    cd plugins
  2. Copiare il contenuto del seguente esempio di codice e salvare localmente comeenv_var_plugin.py nella directory precedente.

    from airflow.plugins_manager import AirflowPlugin import os os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64" class EnvVarPlugin(AirflowPlugin): name = 'env_var_plugin'

Plugins.zip

Nei passaggi seguenti viene illustrato come creareplugins.zip. Il contenuto di questo esempio può essere combinato con altri plugin e binari in un unicoplugins.zip file.

  1. Nella directory del prompt dei comandi, passare allahive_plugin directory del passaggio precedente. Ad esempio:

    cd plugins
  2. Comprimi i contenuti all'interno dellaplugins cartella.

    zip -r ../plugins.zip ./

Opzioni di configurazione del flusso d'aria

Se utilizzi Apache Airflow v2, aggiungilocore.lazy_load_plugins : False come opzione di configurazione di Apache Airflow. Per ulteriori informazioni, consulta Utilizzo delle opzioni di configurazione per caricare i plugin in 2.

Fasi successive