Configuración de la clase de MWAA entorno Amazon

La clase de entorno que elija para su MWAA entorno de Amazon determina el tamaño de los AWS Fargate contenedores AWS gestionados en los que se ejecuta Celery Executor y de la base de datos de SQL metadatos Amazon AWS Aurora Postgre gestionada, en la que los programadores de Apache Airflow crean instancias de tareas. En este tema se describe cada clase de MWAA entorno de Amazon y cómo actualizar la clase de entorno en la MWAA consola de Amazon.

Capacidades del entorno

La siguiente sección contiene las tareas simultáneas predeterminadas de Apache Airflow, la memoria de acceso aleatorio (RAM) y las unidades de procesamiento centralizado virtuales (vCPUs) para cada clase de entorno. Las tareas simultáneas enumeradas suponen que la simultaneidad de las tareas no supera la capacidad de procesamiento de trabajo de Apache Airflow en el entorno.

En la siguiente tabla, la DAG capacidad se refiere a DAG las definiciones, no a las ejecuciones, y supone que DAGs eres dinámico en un único archivo de Python y que estás escrito con las mejores prácticas de Apache Airflow.

Las ejecuciones de tareas dependen del número de ejecuciones programadas simultáneamente y se parte del supuesto de que el número de DAG ejecuciones programadas para que comiencen al mismo tiempo no supere el valor predeterminado max_dagruns_per_loop_to_schedule, así como el tamaño y la cantidad de trabajadores, tal como se detalla en este tema.

Se puede utilizar celery.worker_autoscale para aumentar las tareas por proceso de trabajo. Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

Programadores de Apache Airflow

La siguiente sección contiene las opciones del programador de Apache Airflow disponibles en Amazon MWAA y cómo la cantidad de programadores afecta a la cantidad de activadores.

En Apache Airflow, un desencadenador administra las tareas y las aplaza hasta que se cumplen determinadas condiciones especificadas mediante un desencadenador. En Amazon, MWAA el activador se ejecuta junto con el programador en la misma tarea de Fargate. Al aumentar el número de programadores, se aumenta, en consecuencia, el número de desencadenadores disponibles, lo que optimiza la forma en que el entorno administra las tareas aplazadas. Esto garantiza una administración eficiente de las tareas, programándolas rápidamente para que se ejecuten cuando se cumplan las condiciones.