Konfiguration der MWAA Amazon-Umgebungsklasse

Die Umgebungsklasse, die Sie für Ihre MWAA Amazon-Umgebung wählen, bestimmt die Größe der AWS-verwalteten AWS Fargate Container, in denen der Celery Executor ausgeführt wird, und der AWS-verwalteten Amazon Aurora SQL Postgre-Metadatendatenbank, in der die Apache Airflow-Scheduler Task-Instances erstellen. Auf dieser Seite werden die einzelnen MWAA Amazon-Umgebungsklassen und die Schritte zur Aktualisierung der Umgebungsklasse auf der MWAA Amazon-Konsole beschrieben.

Funktionen der Umgebung

Der folgende Abschnitt enthält die standardmäßigen gleichzeitigen Apache Airflow-Aufgaben, Random Access Memory (RAM) und die virtuellen zentralen Verarbeitungseinheiten (vCPUs) für jede Umgebungsklasse. Bei den aufgeführten gleichzeitigen Aufgaben wird davon ausgegangen, dass die Parallelität der Aufgaben die Apache Airflow Worker-Kapazität in der Umgebung nicht überschreitet.

In der folgenden Tabelle bezieht sich DAG Kapazität auf DAG Definitionen, nicht auf Ausführungen, und es wird davon ausgegangen, dass Sie dynamisch in einer einzigen Python-Datei DAGs sind und mit den Best Practices von Apache Airflow geschrieben wurden.

Die Ausführung von Aufgaben hängt davon ab, wie viele gleichzeitig geplant sind. Dabei wird vorausgesetzt, dass die Anzahl der DAG Durchläufe, die zur gleichen Zeit gestartet werden sollen, nicht die Standardwerte überschreitet max_dagruns_per_loop_to_schedule, ebenso wie die Größe und Anzahl der Worker, wie in diesem Thema beschrieben.

Sie können es verwendencelery.worker_autoscale, um die Anzahl der Aufgaben pro Mitarbeiter zu erhöhen. Weitere Informationen hierzu finden Sie unter Beispiel für einen Hochleistungs-Anwendungsfall.

Apache Airflow Scheduler

Der folgende Abschnitt enthält die auf Amazon MWAA verfügbaren Apache Airflow-Scheduler-Optionen und wie sich die Anzahl der Scheduler auf die Anzahl der Trigger auswirkt.

In Apache Airflow verwaltet ein Trigger Aufgaben, die er aufschiebt, bis bestimmte, mithilfe eines Triggers festgelegte Bedingungen erfüllt sind. In Amazon läuft MWAA der Triggerer zusammen mit dem Scheduler auf derselben Fargate-Aufgabe. Wenn Sie die Anzahl der Scheduler erhöhen, wird die Anzahl der verfügbaren Trigger entsprechend erhöht, wodurch die Art und Weise optimiert wird, wie die Umgebung verzögerte Aufgaben verwaltet. Dadurch wird eine effiziente Bearbeitung von Aufgaben gewährleistet und sie werden umgehend so geplant, dass sie ausgeführt werden, wenn die Bedingungen erfüllt sind.