Configurando a classe de MWAA ambiente Amazon

A classe de ambiente que você escolhe para seu MWAA ambiente Amazon determina o tamanho dos AWS Fargate contêineres AWS gerenciados nos quais o Celery Executor é executado e do banco de dados de metadados gerenciado do AWS Amazon Aurora SQL Postgre, no qual os programadores do Apache Airflow criam instâncias de tarefas. Este tópico descreve cada classe de MWAA ambiente da Amazon e como atualizar a classe de ambiente no MWAA console da Amazon.

Funcionalidades do ambiente

A seção a seguir contém as tarefas simultâneas padrão do Apache Airflow, a Memória de Acesso Aleatório (RAM) e as unidades virtuais de processamento centralizado (vCPUs) para cada classe de ambiente. As tarefas simultâneas listadas pressupõem que a simultaneidade de tarefas não exceda a capacidade de operadores do Apache Airflow no ambiente.

Na tabela a seguir, a DAG capacidade se refere às DAG definições, não às execuções, e pressupõe que DAGs você seja dinâmico em um único arquivo Python e escrito com as melhores práticas do Apache Airflow.

As execuções de tarefas dependem de quantas são agendadas simultaneamente e pressupõe que o número de DAG execuções definidas para iniciar ao mesmo tempo não exceda o padrão max_dagruns_per_loop_to_schedule, bem como o tamanho e o número de trabalhadores, conforme detalhado neste tópico.

Você pode usar celery.worker_autoscale para aumentar as tarefas por operador. Para obter mais informações, consulte Exemplo de caso de uso de alto desempenho.

Programadores do Apache Airflow

A seção a seguir contém as opções do agendador Apache Airflow disponíveis na Amazon MWAA e como o número de agendadores afeta o número de acionadores.

No Apache Airflow, um acionador gerencia tarefas que são adiadas até que certas condições especificadas usando um acionador sejam atendidas. Na Amazon, MWAA o acionador é executado junto com o agendador na mesma tarefa do Fargate. Aumentar a contagem de programadores aumenta correspondentemente o número de acionadores disponíveis, otimizando a forma como o ambiente gerencia tarefas adiadas. Isso garante o manuseio eficiente das tarefas, programando-as prontamente para serem executadas quando as condições forem atendidas.