Configuration de la classe d'environnement Amazon MWAA

La classe d'environnement que vous choisissez pour votre environnement Amazon MWAA détermine la taille des AWS Fargate conteneurs AWS gérés dans lesquels s'exécute Celery Executor et de la base de données de métadonnées Amazon Aurora PostgreSQL AWS gérée dans laquelle les planificateurs Apache Airflow créent des instances de tâches. Cette rubrique décrit chaque classe d'environnement Amazon MWAA et explique comment mettre à jour la classe d'environnement sur la console Amazon MWAA.

Capacités environnementales

La section suivante contient les tâches Apache Airflow simultanées par défaut, la mémoire vive (RAM) et les unités de traitement centralisées virtuelles (vCPU) pour chaque classe d'environnement. Les tâches simultanées répertoriées supposent que la simultanéité des tâches ne dépasse pas la capacité de travail d'Apache Airflow dans l'environnement.

Dans le tableau suivant, la capacité des DAG fait référence aux définitions des DAG, et non à leurs exécutions, et suppose que vos DAG sont dynamiques dans un seul fichier Python écrit selon les meilleures pratiques d'Apache Airflow.

Les exécutions de tâches dépendent du nombre de tâches planifiées simultanément et supposent que le nombre d'exécutions DAG configurées pour démarrer en même temps ne dépasse pas la valeur par défaut max_dagruns_per_loop_to_schedule, ainsi que la taille et le nombre de travailleurs, comme indiqué dans cette rubrique.

Vous pouvez l'utiliser celery.worker_autoscale pour augmenter le nombre de tâches par collaborateur. Pour plus d'informations, consultez leExemple de cas d'utilisation à hautes performances.

Planificateurs Apache Airflow

La section suivante présente les options du planificateur Apache Airflow disponibles sur Amazon MWAA et explique comment le nombre de planificateurs affecte le nombre de déclencheurs.

Dans Apache Airflow, un déclencheur gère les tâches qu'il reporte jusqu'à ce que certaines conditions spécifiées à l'aide d'un déclencheur soient remplies. Dans Amazon MWAA, le déclencheur s'exécute en même temps que le planificateur sur la même tâche Fargate. L'augmentation du nombre de planificateurs augmente en conséquence le nombre de déclencheurs disponibles, optimisant ainsi la façon dont l'environnement gère les tâches différées. Cela garantit une gestion efficace des tâches, en les programmant rapidement pour qu'elles s'exécutent lorsque les conditions sont remplies.