Konfiguration der Amazon MWAA-Umgebungsklasse

Die Umgebungsklasse, die Sie für Ihre Amazon MWAA-Umgebung wählen, bestimmt die Größe der AWS verwalteten AWS Fargate Container, in denen der Celery Executor ausgeführt wird, und der verwalteten Amazon Aurora PostgreSQL-Metadatendatenbank, in der die AWS Apache Airflow-Scheduler Task-Instances erstellen. Dieses Thema beschreibt jede Amazon MWAA-Umgebungsklasse und wie Sie die Umgebungsklasse auf der Amazon MWAA-Konsole aktualisieren.

Funktionen der Umgebung

Der folgende Abschnitt enthält die standardmäßigen gleichzeitigen Apache Airflow-Aufgaben, Random Access Memory (RAM) und die virtuellen zentralen Verarbeitungseinheiten (vCPUs) für jede Umgebungsklasse. Bei den aufgeführten gleichzeitigen Aufgaben wird davon ausgegangen, dass die Parallelität der Aufgaben die Kapazität des Apache Airflow-Workers in der Umgebung nicht übersteigt.

In der folgenden Tabelle bezieht sich die DAG-Kapazität auf DAG-Definitionen, nicht auf Ausführungen, und es wird davon ausgegangen, dass Ihre DAGs in einer einzigen Python-Datei dynamisch sind und mit den Best Practices von Apache Airflow geschrieben wurden.

Die Ausführung von Aufgaben hängt davon ab, wie viele gleichzeitig geplant sind. Dabei wird davon ausgegangen, dass die Anzahl der DAG-Läufe, die zur gleichen Zeit gestartet werden sollen, den Standardwert nicht überschreitet max_dagruns_per_loop_to_schedule, ebenso wie die Größe und Anzahl der Worker, wie in diesem Thema beschrieben.

Sie können es verwendencelery.worker_autoscale, um die Anzahl der Aufgaben pro Mitarbeiter zu erhöhen. Weitere Informationen finden Sie imBeispiel für einen Anwendungsfall mit hoher Leistung.

Apache Airflow-Scheduler

Der folgende Abschnitt enthält die auf der Amazon MWAA verfügbaren Apache Airflow-Scheduler-Optionen und wie sich die Anzahl der Scheduler auf die Anzahl der Trigger auswirkt.

In Apache Airflow verwaltet ein Triggerer Aufgaben, die er so lange aufschiebt, bis bestimmte, mithilfe eines Triggers angegebene Bedingungen erfüllt sind. In Amazon MWAA wird der Triggerer zusammen mit dem Scheduler für dieselbe Fargate-Aufgabe ausgeführt. Wenn Sie die Anzahl der Scheduler erhöhen, erhöht sich entsprechend die Anzahl der verfügbaren Trigger, wodurch die Art und Weise optimiert wird, wie die Umgebung verzögerte Aufgaben verwaltet. Dadurch wird eine effiziente Bearbeitung der Aufgaben gewährleistet und sie werden zeitnah so geplant, dass sie ausgeführt werden, wenn die Bedingungen erfüllt sind.