Configuración de la clase de entorno Amazon MWAA

La clase de entorno que elija para su entorno Amazon MWAA determinará el tamaño de los AWS Fargate contenedores AWS gestionados en los que se ejecuta Celery Executor y de la base de datos de metadatos Amazon AWS Aurora PostgreSQL gestionada en la que los programadores de Apache Airflow crean instancias de tareas. En este tema se describe cada clase de entorno de Amazon MWAA y cómo actualizar la clase de entorno en la consola de Amazon MWAA.

Capacidades del entorno

La siguiente sección contiene las tareas simultáneas predeterminadas de Apache Airflow, la memoria de acceso aleatorio (RAM) y las unidades de procesamiento centralizado virtuales (vCPUs) para cada clase de entorno. Las tareas simultáneas enumeradas suponen que la simultaneidad de las tareas no supera la capacidad de procesamiento de trabajo de Apache Airflow en el entorno.

En la siguiente tabla, la capacidad del DAG se refiere a las definiciones del DAG, no a las ejecuciones, y supone que DAGs usted es dinámico en un solo archivo de Python y está escrito con las mejores prácticas de Apache Airflow.

Las ejecuciones de tareas dependen del número de tareas programadas simultáneamente y se parte del supuesto de que el número de ejecuciones de DAG programadas para que comiencen al mismo tiempo no supere el valor predeterminado de max_dagruns_per_loop_to_schedule, así como el tamaño y la cantidad de procesos de trabajo, tal como se detalla en este tema.

Se puede utilizar celery.worker_autoscale para aumentar las tareas por proceso de trabajo. Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

Programadores de Apache Airflow

La siguiente sección contiene las opciones de programadores de Apache Airflow disponibles en Amazon MWAA y de qué modo el número de programadores afecta al número de desencadenadores.

En Apache Airflow, un desencadenador administra las tareas y las aplaza hasta que se cumplen determinadas condiciones especificadas mediante un desencadenador. En Amazon MWAA, el desencadenador se ejecuta junto con el programador en la misma tarea de Fargate. Al aumentar el número de programadores, se aumenta, en consecuencia, el número de desencadenadores disponibles, lo que optimiza la forma en que el entorno administra las tareas aplazadas. Esto garantiza una administración eficiente de las tareas, programándolas rápidamente para que se ejecuten cuando se cumplan las condiciones.