Configurazione della classe di ambiente Amazon MWAA

La classe di ambiente scelta per il tuo ambiente Amazon MWAA determina la dimensione dei AWS Fargate contenitori AWS gestiti su cui viene eseguito Celery Executor e del database di metadati Amazon Aurora PostgreSQL AWS gestito in cui gli scheduler Apache Airflow creano istanze di attività. Questo argomento descrive ogni classe di ambiente Amazon MWAA e come aggiornare la classe di ambiente sulla console Amazon MWAA.

Funzionalità ambientali

La sezione seguente contiene le attività simultanee predefinite di Apache Airflow, la RAM (Random Access Memory) e le unità di elaborazione centralizzate virtuali (vCPU) per ogni classe di ambiente. Le attività concorrenti elencate presuppongono che la concorrenza delle attività non superi la capacità di lavoro di Apache Airflow nell'ambiente.

Nella tabella seguente, la capacità del DAG si riferisce alle definizioni del DAG, non alle esecuzioni, e presuppone che i DAG siano dinamici in un singolo file Python e scritti con le migliori pratiche di Apache Airflow. https://airflow.apache.org/docs/apache-airflow/2.6.3/best-practices.html?highlight=best%20practices

Le esecuzioni delle attività dipendono dal numero di operazioni pianificate contemporaneamente e presuppone che il numero di esecuzioni DAG impostate per iniziare contemporaneamente non superi quello predefinito max_dagruns_per_loop_to_schedule, nonché le dimensioni e il numero di lavoratori descritti in dettaglio in questo argomento.

È possibile utilizzarlo celery.worker_autoscale per aumentare le attività per lavoratore. Per ulteriori informazioni, fare riferimento aEsempio di utilizzo ad alte prestazioni.

Scheduler Apache Airflow

La sezione seguente contiene le opzioni dello scheduler Apache Airflow disponibili su Amazon MWAA e in che modo il numero di scheduler influisce sul numero di trigger.

In Apache Airflow, un trigger gestisce le attività che rinvia fino a quando non vengono soddisfatte determinate condizioni specificate utilizzando un trigger. In Amazon MWAA il trigger viene eseguito insieme allo scheduler sulla stessa attività di Fargate. L'aumento del numero dello scheduler aumenta di conseguenza il numero di trigger disponibili, ottimizzando il modo in cui l'ambiente gestisce le attività differite. Ciò garantisce una gestione efficiente delle attività, pianificandone tempestivamente l'esecuzione quando le condizioni sono soddisfatte.