Configurazione della classe di MWAA ambiente Amazon

La classe di ambiente scelta per il tuo MWAA ambiente Amazon determina la dimensione dei AWS Fargate contenitori AWS gestiti su cui viene eseguito Celery Executor e del database di metadati AWS Amazon Aurora SQL Postgre gestito in cui gli scheduler Apache Airflow creano istanze di attività. Questo argomento descrive ogni classe di MWAA ambiente Amazon e come aggiornare la classe di ambiente sulla MWAA console Amazon.

Funzionalità ambientali

La sezione seguente contiene le attività simultanee predefinite di Apache Airflow, Random Access Memory (RAM) e le unità di elaborazione centralizzate virtuali (vCPUs) per ogni classe di ambiente. Le attività simultanee elencate presuppongono che la concorrenza delle attività non superi la capacità di Apache Airflow Worker nell'ambiente.

Nella tabella seguente, la DAG capacità si riferisce alle DAG definizioni, non alle esecuzioni, e presuppone che l'utente sia dinamico in un DAGs singolo file Python e scritto con le best practice di Apache Airflow.

Le esecuzioni delle attività dipendono dal numero di operazioni pianificate contemporaneamente e presuppongono che il numero di DAG esecuzioni impostate per l'avvio nello stesso momento non superi il valore predefinito max_dagruns_per_loop_to_schedule, nonché le dimensioni e il numero di lavoratori, come descritto in questo argomento.

È possibile utilizzare celery.worker_autoscale per aumentare le attività per lavoratore. Per ulteriori informazioni, consulta la Esempio di utilizzo ad alte prestazioni.

Apache Airflow Scheduler

La sezione seguente contiene le opzioni di pianificazione di Apache Airflow disponibili su Amazon MWAA e il modo in cui il numero di scheduler influisce sul numero di trigger.

In Apache Airflow, un trigger gestisce le attività che rimanda fino a quando non vengono soddisfatte determinate condizioni specificate utilizzando un trigger. In Amazon, MWAA il trigger viene eseguito insieme allo scheduler per la stessa attività di Fargate. L'aumento del numero di pianificatori aumenta di conseguenza il numero di trigger disponibili, ottimizzando il modo in cui l'ambiente gestisce le attività differite. Ciò garantisce una gestione efficiente delle attività, pianificandone tempestivamente l'esecuzione quando le condizioni sono soddisfatte.