Utilizzo delle opzioni di configurazione di Apache Airflow su Amazon MWAA

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le opzioni di configurazione di Apache Airflow possono essere collegate al tuo ambiente Amazon Managed Workflows for Apache Airflow come variabili di ambiente. Puoi scegliere dall'elenco a discesa suggerito o specificare opzioni di configurazione personalizzate per la tua versione di Apache Airflow sulla console Amazon MWAA. Questo argomento descrive le opzioni di configurazione di Apache Airflow disponibili e come utilizzarle per sovrascrivere le impostazioni di configurazione di Apache Airflow nel tuo ambiente.

Prerequisiti

Avrai bisogno di quanto segue prima di completare i passaggi di questa pagina.

Come funziona

Quando crei un ambiente, Amazon MWAA allega le impostazioni di configurazione specificate nella console Amazon MWAA nelle opzioni di configurazione Airflow come variabili di ambiente al contenitore per il tuo ambiente. AWS Fargate Se utilizzi un'impostazione con lo stesso nome inairflow.cfg, le opzioni specificate nella console Amazon MWAA sostituiscono i valori in. airflow.cfg

Sebbene per impostazione predefinita non le esponiamo airflow.cfg nell'interfaccia utente Apache Airflow di un ambiente Amazon MWAA, puoi modificare le opzioni di configurazione di Apache Airflow direttamente sulla console Amazon MWAA, inclusa l'impostazione per esporre le configurazioni. webserver.expose_config

Utilizzo delle opzioni di configurazione per caricare i plugin in Apache Airflow v2

Per impostazione predefinita, in Apache Airflow v2, i plugin sono configurati per essere caricati «pigramente» utilizzando l'impostazione. core.lazy_load_plugins : True Se utilizzi plug-in personalizzati in Apache Airflow v2, devi aggiungere un'opzione di configurazione di Apache Airflow per caricare core.lazy_load_plugins : False i plug-in all'inizio di ogni processo Airflow per sovrascrivere l'impostazione predefinita.

Panoramica delle opzioni di configurazione

Quando aggiungi una configurazione sulla console Amazon MWAA, Amazon MWAA scrive la configurazione come variabile di ambiente.

Opzioni di configurazione di Apache Airflow

L'immagine seguente mostra dove è possibile personalizzare le opzioni di configurazione di Apache Airflow sulla console Amazon MWAA.

Riferimento Apache Airflow

Per un elenco delle opzioni di configurazione supportate da Apache Airflow, consulta Configuration Reference nella guida di riferimento di Apache Airflow. Per visualizzare le opzioni per la versione di Apache Airflow in esecuzione su Amazon MWAA, seleziona la versione dall'elenco a discesa.

Utilizzo della console Amazon MWAA

La procedura seguente illustra i passaggi per aggiungere un'opzione di configurazione Airflow al tuo ambiente.

Informazioni di riferimento sulla configurazione

La sezione seguente contiene l'elenco delle configurazioni Apache Airflow disponibili nell'elenco a discesa sulla console Amazon MWAA.

Configurazioni e-mail

L'elenco seguente mostra le opzioni di configurazione delle notifiche e-mail Airflow disponibili su Amazon MWAA.

Si consiglia di utilizzare la porta 587 per il traffico SMTP. Per impostazione predefinita, AWS blocca il traffico SMTP in uscita sulla porta 25 di tutte le istanze Amazon EC2 . Se desideri inviare traffico in uscita sulla porta 25, puoi richiedere la rimozione di questa restrizione.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	email.email_backend	L'utilità Apache Airflow utilizzata per le notifiche e-mail in email_backend.	airflow.utils.email.send_email_smtp
v2	smtp.smtp_host	Il nome del server in uscita utilizzato per l'indirizzo e-mail in smtp_host.	localhost
v2	smtp.smtp_starttls	Transport Layer Security (TLS) viene utilizzato per crittografare le e-mail su Internet in smtp_starttls.	False
v2	smtp.smtp_ssl	Secure Sockets Layer (SSL) viene utilizzato per connettere il server e il client di posta elettronica in smtp_ssl.	True
v2	porta smtp.smtp_	La porta TCP (Transmission Control Protocol) designata al server in smtp_port.	587
v2	smtp.smtp_mail_from	L'indirizzo e-mail in uscita in smtp_mail_from.	myemail@domain.com

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	email.email_backend	L'utilità Apache Airflow utilizzata per le notifiche e-mail in email_backend.	airflow.utils.email.send_email_smtp
v2	smtp.smtp_host	Il nome del server in uscita utilizzato per l'indirizzo e-mail in smtp_host.	localhost
v2	smtp.smtp_starttls	Transport Layer Security (TLS) viene utilizzato per crittografare le e-mail su Internet in smtp_starttls.	False
v2	smtp.smtp_ssl	Secure Sockets Layer (SSL) viene utilizzato per connettere il server e il client di posta elettronica in smtp_ssl.	True
v2	porta smtp.smtp_	La porta TCP (Transmission Control Protocol) designata al server in smtp_port.	587
v2	smtp.smtp_mail_from	L'indirizzo e-mail in uscita in smtp_mail_from.	myemail@domain.com

Configurazioni delle attività

L'elenco seguente mostra le configurazioni disponibili nell'elenco a discesa per le attività Airflow su Amazon MWAA.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	core.default_task_retries	Il numero di volte in cui riprovare un'attività di Apache Airflow in default_task_retries.	3
v2	core.parallelismo	Il numero massimo di istanze di attività che possono essere eseguite contemporaneamente nell'intero ambiente in parallelo (parallelismo).	40

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	core.default_task_retries	Il numero di volte in cui riprovare un'attività di Apache Airflow in default_task_retries.	3
v2	core.parallelismo	Il numero massimo di istanze di attività che possono essere eseguite contemporaneamente nell'intero ambiente in parallelo (parallelismo).	40

Configurazioni dello scheduler

L'elenco seguente mostra le configurazioni dello scheduler Apache Airflow disponibili nell'elenco a discesa su Amazon MWAA.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	scheduler.catchup_by_default	Indica allo scheduler di creare un'esecuzione DAG per «recuperare» l'intervallo di tempo specifico in catchup_by_default.	False
v2	scheduler.scheduler_zombie_task_threshold	Indica allo scheduler se contrassegnare l'istanza dell'attività come non riuscita e riprogrammarla in scheduler_zombie_task_threshold.	300

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	scheduler.catchup_by_default	Indica allo scheduler di creare un'esecuzione DAG per «recuperare» l'intervallo di tempo specifico in catchup_by_default.	False
v2	scheduler.scheduler_zombie_task_threshold	Indica allo scheduler se contrassegnare l'istanza dell'attività come non riuscita e riprogrammarla in scheduler_zombie_task_threshold.	300

Configurazioni dei lavoratori

L'elenco seguente mostra le configurazioni Airflow Worker disponibili nell'elenco a discesa su Amazon MWAA.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	celery.worker_autoscale	Il numero massimo e minimo di attività che possono essere eseguite contemporaneamente su qualsiasi lavoratore che utilizza Celery Executor in worker_autoscale. Il valore deve essere separato da virgole nel seguente ordine:. max_concurrency,min_concurrency	16,12

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	celery.worker_autoscale	Il numero massimo e minimo di attività che possono essere eseguite contemporaneamente su qualsiasi lavoratore che utilizza Celery Executor in worker_autoscale. Il valore deve essere separato da virgole nel seguente ordine:. max_concurrency,min_concurrency	16,12

Configurazioni del server Web

L'elenco seguente mostra le configurazioni del server Web Airflow disponibili nell'elenco a discesa su Amazon MWAA.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	webserver.default_ui_timezone	L'impostazione datetime predefinita dell'interfaccia utente di Apache Airflow in default_ui_timezone. Nota L'impostazione dell'default_ui_timezoneopzione non modifica il fuso orario in cui è programmata l'esecuzione. DAGs Per modificare il fuso orario del tuo DAGs, puoi utilizzare un plug-in personalizzato. Per ulteriori informazioni, consulta Modifica del fuso orario di un DAG su Amazon MWAA.	America/New_York

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2	webserver.default_ui_timezone	L'impostazione datetime predefinita dell'interfaccia utente di Apache Airflow in default_ui_timezone. Nota L'impostazione dell'default_ui_timezoneopzione non modifica il fuso orario in cui è programmata l'esecuzione. DAGs Per modificare il fuso orario del tuo DAGs, puoi utilizzare un plug-in personalizzato. Per ulteriori informazioni, consulta Modifica del fuso orario di un DAG su Amazon MWAA.	America/New_York

Configurazioni Triggerer

L'elenco seguente mostra le configurazioni dei trigger di Apache Airflow disponibili su Amazon MWAA.

Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2.7	mwaa.triggerer_enabled	Utilizzato per attivare e disattivare il trigger su Amazon MWAA. Per impostazione predefinita, questo valore è impostato su True. Se impostato suFalse, Amazon MWAA non avvierà alcun processo di attivazione sugli scheduler.	True
v2.7	triggerer.default_capacity	Definisce il numero di trigger che ogni trigger può eseguire in parallelo. Su Amazon MWAA, questa capacità è impostata per ogni trigger e per ogni scheduler poiché entrambi i componenti funzionano insieme. L'impostazione predefinita per scheduler è impostata su60,, 125250, e 1000 per istanze piccole500, medie e grandi, xlarge e 2xlarge, rispettivamente.	125

anchor

• Apache Airflow v2

Versione Airflow	Opzione di configurazione del flusso d'aria	Descrizione	Valore di esempio
v2.7	mwaa.triggerer_enabled	Utilizzato per attivare e disattivare il trigger su Amazon MWAA. Per impostazione predefinita, questo valore è impostato su True. Se impostato suFalse, Amazon MWAA non avvierà alcun processo di attivazione sugli scheduler.	True
v2.7	triggerer.default_capacity	Definisce il numero di trigger che ogni trigger può eseguire in parallelo. Su Amazon MWAA, questa capacità è impostata per ogni trigger e per ogni scheduler poiché entrambi i componenti funzionano insieme. L'impostazione predefinita per scheduler è impostata su60,, 125250, e 1000 per istanze piccole500, medie e grandi, xlarge e 2xlarge, rispettivamente.	125

Esempi e codice di esempio

Esempio DAG

È possibile utilizzare il seguente DAG per stampare le opzioni di configurazione di email_backend Apache Airflow. Per eseguirlo in risposta agli eventi di Amazon MWAA, copia il codice DAGs nella cartella del tuo ambiente sul bucket di storage Amazon S3.

from airflow.decorators import dag
from datetime import datetime

def print_var(**kwargs):
  email_backend = kwargs['conf'].get(section='email', key='email_backend')
  print("email_backend")
  return email_backend
  
@dag(
  dag_id="print_env_variable_example",
  schedule_interval=None,     
  start_date=datetime(yyyy, m, d),
  catchup=False,
)
def print_variable_dag():
  email_backend_test = PythonOperator(
  task_id="email_backend_test",
  python_callable=print_var,
  provide_context=True
)
  
print_variable_test = print_variable_dag()

Esempio di impostazioni di notifica e-mail

Le seguenti opzioni di configurazione di Apache Airflow possono essere utilizzate per un account di posta elettronica Gmail.com utilizzando una password dell'app. Per ulteriori informazioni, consulta Accedere utilizzando le password delle app nella guida di riferimento dell'assistenza di Gmail.

Fasi successive