Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Leistungsoptimierung für Apache Airflow auf Amazon MWAA
In diesem Thema wird beschrieben, wie Sie die Leistung von Amazon Managed Workflows für die Apache Airflow-Umgebung mithilfe von optimieren. Verwenden der Apache Airflow-Konfigurationsoptionen auf Amazon MWAA
Hinzufügen einer Apache Airflow-Konfigurationsoption
Gehen Sie wie folgt vor, um Ihrer Umgebung eine Airflow-Konfigurationsoption hinzuzufügen.
-
Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.
-
Wählen Sie eine Umgebung aus.
-
Wählen Sie Bearbeiten aus.
-
Wählen Sie Weiter aus.
-
Wählen Sie im Bereich mit den Airflow-Konfigurationsoptionen die Option Benutzerdefinierte Konfiguration hinzufügen aus.
-
Wählen Sie eine Konfiguration aus der Dropdownliste aus und geben Sie einen Wert ein, oder geben Sie eine benutzerdefinierte Konfiguration ein und geben Sie einen Wert ein.
-
Wählen Sie Benutzerdefinierte Konfiguration hinzufügen für jede Konfiguration, die Sie hinzufügen möchten.
-
Wählen Sie Speichern.
Weitere Informationen finden Sie unterVerwenden der Apache Airflow-Konfigurationsoptionen auf Amazon MWAA.
Apache Airflow-Scheduler
Der Apache Airflow Scheduler ist eine Kernkomponente von Apache Airflow. Ein Problem mit dem Scheduler kann verhindern, dass DAGs analysiert und Aufgaben geplant werden. Weitere Informationen zur Optimierung des Apache Airflow Schedulers finden Sie auf der Apache Airflow-Dokumentationswebsite unter Leistung Fine-tuning Ihres Schedulers.
Parameters
In diesem Abschnitt werden die für den Apache Airflow Scheduler (Apache Airflow v2 und höher) verfügbaren Konfigurationsoptionen und ihre Anwendungsfälle beschrieben.
- Apache Airflow v3
-
| Konfiguration |
Anwendungsfall |
|
celery.sync_parallelism
Die Anzahl der Prozesse, die der Celery Executor verwendet, um den Aufgabenstatus zu synchronisieren.
Standard: 1
|
Verwenden Sie diese Option, um Warteschlangenkonflikte zu vermeiden, indem Sie die vom Celery Executor verwendeten Prozesse einschränken. Standardmäßig ist ein Wert auf festgelegt, 1 um Fehler bei der Übermittlung von Aufgabenprotokollen an Logs zu CloudWatch verhindern. Wenn Sie den Wert auf setzen0, wird die maximale Anzahl von Prozessen verwendet, dies kann jedoch zu Fehlern bei der Übermittlung von Aufgabenprotokollen führen.
|
|
scheduler.scheduler_idle_sleep_time
Die Anzahl der Sekunden, die zwischen aufeinanderfolgenden Scheduler-"Schleifen“ gewartet werden muss, wenn in der Schleife nichts zu tun war.
Standard: 1
|
Verwenden Sie diese Option, um die CPU-Auslastung des Schedulers freizugeben, indem Sie die Zeit verlängern, in der der Scheduler nach Abschluss einer „Schleife“ in den Ruhezustand versetzt wird. Wenn Sie diesen Wert erhöhen, werden die Scheduler-Threads reduziert, die in dag_processor.parsing_processes Apache Airflow v2 und Apache Airflow v3 verfügbar sind. Dies kann die Kapazität der Scheduler zum Parsen von DAGs verringern und die Zeit verlängern, die DAGs zum Auffüllen auf dem Webserver benötigen.
|
|
scheduler.max_dagruns_to_create_per_loop
Die maximale Anzahl von DAGs, die für jede Scheduler-"Schleife“ erstellt werden sollen. DagRuns
Standard: 10
|
Verwenden Sie diese Option, um Ressourcen für die Planung von Aufgaben freizugeben, indem Sie die maximale Anzahl von „Loop“ DagRuns für den Scheduler verringern.
|
|
dag_processor.parsing_processes
Die Anzahl der Threads, die der Scheduler parallel ausführen kann, um DAGs zu planen.
Standard: Verwenden (2 * number of vCPUs) - 1
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Prozesse verringern, die der Scheduler parallel ausführt, um DAGs zu analysieren. Wir empfehlen, diese Zahl niedrig zu halten, wenn sich das DAG-Parsen auf die Aufgabenplanung auswirkt. Sie müssen einen Wert angeben, der unter der Anzahl der vCPUs in Ihrer Umgebung liegt. Weitere Informationen finden Sie unter Grenzwerte.
|
- Apache Airflow v2
-
| Konfiguration |
Anwendungsfall |
|
celery.sync_parallelism
Die Anzahl der Prozesse, die der Celery Executor verwendet, um den Aufgabenstatus zu synchronisieren.
Standard: 1
|
Verwenden Sie diese Option, um Warteschlangenkonflikte zu vermeiden, indem Sie die vom Celery Executor verwendeten Prozesse einschränken. Standardmäßig ist ein Wert auf festgelegt, 1 um Fehler bei der Übermittlung von Aufgabenprotokollen an Logs zu CloudWatch verhindern. Wenn Sie den Wert auf setzen0, wird die maximale Anzahl von Prozessen verwendet, dies kann jedoch zu Fehlern bei der Übermittlung von Aufgabenprotokollen führen.
|
|
scheduler.scheduler_idle_sleep_time
Die Anzahl der Sekunden, die zwischen aufeinanderfolgenden Scheduler-"Schleifen“ gewartet werden muss, wenn in der Schleife nichts zu tun war.
Standard: 1
|
Verwenden Sie diese Option, um die CPU-Auslastung des Schedulers freizugeben, indem Sie die Zeit verlängern, in der der Scheduler nach Abschluss einer „Schleife“ in den Ruhezustand versetzt wird. Wenn Sie diesen Wert erhöhen, werden die Scheduler-Threads reduziert, die in dag_processor.parsing_processes Apache Airflow v2 und Apache Airflow v3 verfügbar sind. Dies kann die Kapazität der Scheduler zum Parsen von DAGs verringern und die Zeit verlängern, die DAGs zum Auffüllen auf dem Webserver benötigen.
|
|
scheduler.max_dagruns_to_create_per_loop
Die maximale Anzahl von DAGs, die für jede Scheduler-"Schleife“ erstellt werden sollen. DagRuns
Standard: 10
|
Verwenden Sie diese Option, um Ressourcen für die Planung von Aufgaben freizugeben, indem Sie die maximale Anzahl von „Loop“ DagRuns für den Scheduler verringern.
|
|
scheduler.parsing_processes
Die Anzahl der Threads, die der Scheduler parallel ausführen kann, um DAGs zu planen.
Standard: Verwenden (2 * number of vCPUs) - 1
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Prozesse verringern, die der Scheduler parallel ausführt, um DAGs zu analysieren. Wir empfehlen, diese Zahl niedrig zu halten, wenn sich das DAG-Parsen auf die Aufgabenplanung auswirkt. Sie müssen einen Wert angeben, der unter der Anzahl der vCPUs in Ihrer Umgebung liegt. Weitere Informationen finden Sie unter Grenzwerte.
|
Einschränkungen
In diesem Abschnitt werden die Grenzwerte beschrieben, die bei der Anpassung der Standardparameter für den Scheduler zu berücksichtigen sind.
- scheduler.parsing_processes, scheduler.max_threads (nur v2)
-
Zwei Threads sind pro vCPU für eine Umgebungsklasse zulässig. Mindestens ein Thread muss für den Scheduler für eine Umgebungsklasse reserviert sein. Wenn Sie eine Verzögerung bei der Planung von Aufgaben feststellen, müssen Sie möglicherweise Ihre Umgebungsklasse erhöhen. Beispielsweise verfügt eine große Umgebung über eine Fargate-Container-Instance mit 4 vCPUs als Scheduler. Das bedeutet, dass 7 insgesamt ein Maximum an Threads zur Verfügung steht, die für andere Prozesse verwendet werden können. Das heißt, zwei Threads multiplizieren vier vCPUs, minus eins für den Scheduler selbst. Der Wert, den Sie in scheduler.max_threads (nur v2) angeben, darf die Anzahl der Threads, die für eine Umgebungsklasse verfügbar sind, nicht überschreiten, wie aufgeführt: scheduler.parsing_processes
-
mw1.small — Darf den 1 Thread für andere Prozesse nicht überschreiten. Der verbleibende Thread ist für den Scheduler reserviert.
-
mw1.medium — Darf die Anzahl der 3 Threads für andere Prozesse nicht überschreiten. Der verbleibende Thread ist für den Scheduler reserviert.
-
mw1.large — Darf die Anzahl der 7 Threads für andere Prozesse nicht überschreiten. Der verbleibende Thread ist für den Scheduler reserviert.
DAG-Ordner
Der Apache Airflow Scheduler scannt kontinuierlich den DAGs-Ordner in Ihrer Umgebung. Alle enthaltenen plugins.zip Dateien oder Python (.py) -Dateien, die „Airflow“ -Importanweisungen enthalten. Alle resultierenden Python-DAG-Objekte werden dann in einer DagBag Datei platziert, damit sie vom Scheduler verarbeitet werden kann, um zu bestimmen, welche Aufgaben gegebenenfalls geplant werden müssen. Das Parsen der DAG-Dateien erfolgt unabhängig davon, ob die Dateien brauchbare DAG-Objekte enthalten.
Parameters
In diesem Abschnitt werden die für den DAGs-Ordner (Apache Airflow v2 und höher) verfügbaren Konfigurationsoptionen und ihre Anwendungsfälle beschrieben.
- Apache Airflow v3
-
| Konfiguration |
Anwendungsfall |
|
dag_processor.refresh_interval
Die Anzahl der Sekunden, in denen der DAGs-Ordner nach neuen Dateien durchsucht werden muss.
Standard: 300 Sekunden
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, um den DAGs-Ordner zu analysieren. Wir empfehlen, diesen Wert zu erhöhen, wenn Sie lange Analysezeiten habentotal_parse_time metrics, was möglicherweise auf eine große Anzahl von Dateien in Ihrem DAGs-Ordner zurückzuführen ist.
|
|
dag_processor.min_file_process_interval
Die Anzahl der Sekunden, nach denen der Scheduler eine DAG analysiert und die DAG aktualisiert, wird wiedergegeben.
Standard: 30 Sekunden
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, die der Scheduler vor dem Analysieren einer DAG wartet. Wenn Sie beispielsweise den Wert von angeben30, wird die DAG-Datei alle 30 Sekunden analysiert. Wir empfehlen, diesen Wert hoch zu halten, um die CPU-Auslastung in Ihrer Umgebung zu verringern.
|
- Apache Airflow v2
-
| Konfiguration |
Anwendungsfall |
|
scheduler.dag_dir_list_interval
Die Anzahl der Sekunden, in denen der DAGs-Ordner nach neuen Dateien durchsucht werden muss.
Standard: 300 Sekunden
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, um den DAGs-Ordner zu analysieren. Wir empfehlen, diesen Wert zu erhöhen, wenn Sie lange Analysezeiten habentotal_parse_time metrics, was möglicherweise auf eine große Anzahl von Dateien in Ihrem DAGs-Ordner zurückzuführen ist.
|
|
scheduler.min_file_process_interval
Die Anzahl der Sekunden, nach der der Scheduler eine DAG analysiert und die DAG aktualisiert, wird wiedergegeben.
Standard: 30 Sekunden
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, die der Scheduler vor dem Analysieren einer DAG wartet. Wenn Sie beispielsweise den Wert von angeben30, wird die DAG-Datei alle 30 Sekunden analysiert. Wir empfehlen, diesen Wert hoch zu halten, um die CPU-Auslastung in Ihrer Umgebung zu verringern.
|
DAG-Dateien
Als Teil der Apache Airflow-Scheduler-Schleife werden einzelne DAG-Dateien analysiert, um DAG-Python-Objekte zu extrahieren. In Apache Airflow v2 und höher analysiert der Scheduler eine maximale Anzahl von Parsing-Prozessen gleichzeitig. Die in scheduler.min_file_process_interval (v2) oder dag_processor.min_file_process_interval (v3) angegebene Anzahl von Sekunden muss vergehen, bevor dieselbe Datei erneut analysiert wird.
Parameters
In diesem Abschnitt werden die für Apache Airflow DAG-Dateien (Apache Airflow v2 und höher) verfügbaren Konfigurationsoptionen und ihre Anwendungsfälle beschrieben.
- Apache Airflow v3
-
| Konfiguration |
Anwendungsfall |
|
dag_processor.dag_file_processor_timeout
Die Anzahl der Sekunden vor dem Timeout bei der Verarbeitung einer DAG-Datei. DagFileProcessor
Standard: 50 Sekunden
|
Verwenden Sie diese Option, um die Zeit bis zum Timeout zu verlängern. DagFileProcessor Wir empfehlen, diesen Wert zu erhöhen, wenn in Ihren DAG-Verarbeitungsprotokollen Zeitüberschreitungen auftreten, die dazu führen, dass keine brauchbaren DAGs geladen werden.
|
|
core.dagbag_import_timeout
Die Anzahl der Sekunden vor dem Import einer Python-Datei.
Standard: 30 Sekunden
|
Verwenden Sie diese Option, um die Zeit zu verlängern, die benötigt wird, bis der Scheduler beim Importieren einer Python-Datei zum Extrahieren der DAG-Objekte ein Timeout eingeht. Diese Option wird als Teil der Scheduler-Schleife verarbeitet und muss einen Wert enthalten, der unter dem angegebenen Wert liegt. dag_processor.dag_file_processor_timeout
|
|
core.min_serialized_dag_update_interval
Die Mindestanzahl von Sekunden, nach der serialisierte DAGs in der Datenbank aktualisiert werden.
Standard: 30
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, nach denen serialisierte DAGs in der Datenbank aktualisiert werden. Wir empfehlen, diesen Wert zu erhöhen, wenn Sie eine große Anzahl von DAGs oder komplexe DAGs haben. Eine Erhöhung dieses Werts reduziert die Belastung des Schedulers und der Datenbank, wenn DAGs serialisiert werden.
|
|
core.min_serialized_dag_fetch_interval
Die Anzahl der Sekunden, in denen eine serialisierte DAG erneut aus der Datenbank abgerufen wird, wenn sie bereits in die geladen wurde. DagBag
Standard: 10
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, in denen eine serialisierte DAG erneut abgerufen wird. Der Wert muss größer als der unter angegebene Wert sein, core.min_serialized_dag_update_interval um die Schreibraten der Datenbank zu reduzieren. Eine Erhöhung dieses Werts reduziert die Belastung des Webservers und der Datenbank, da DAGs serialisiert werden.
|
- Apache Airflow v2
-
| Konfiguration |
Anwendungsfall |
|
core.dag_file_processor_timeout
Die Anzahl der Sekunden vor dem Timeout bei der Verarbeitung einer DAG-Datei. DagFileProcessor
Standard: 50 Sekunden
|
Verwenden Sie diese Option, um die Zeit bis zum Timeout zu verlängern. DagFileProcessor Wir empfehlen, diesen Wert zu erhöhen, wenn in Ihren DAG-Verarbeitungsprotokollen Zeitüberschreitungen auftreten, die dazu führen, dass keine brauchbaren DAGs geladen werden.
|
|
core.dagbag_import_timeout
Die Anzahl der Sekunden vor dem Import einer Python-Datei.
Standard: 30 Sekunden
|
Verwenden Sie diese Option, um die Zeit zu verlängern, die benötigt wird, bis der Scheduler beim Importieren einer Python-Datei zum Extrahieren der DAG-Objekte ein Timeout eingeht. Diese Option wird als Teil der Scheduler-Schleife verarbeitet und muss einen Wert enthalten, der unter dem angegebenen Wert liegt. core.dag_file_processor_timeout
|
|
core.min_serialized_dag_update_interval
Die Mindestanzahl von Sekunden, nach der serialisierte DAGs in der Datenbank aktualisiert werden.
Standard: 30
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, nach denen serialisierte DAGs in der Datenbank aktualisiert werden. Wir empfehlen, diesen Wert zu erhöhen, wenn Sie eine große Anzahl von DAGs oder komplexe DAGs haben. Eine Erhöhung dieses Werts reduziert die Belastung des Schedulers und der Datenbank, wenn DAGs serialisiert werden.
|
|
core.min_serialized_dag_fetch_interval
Die Anzahl der Sekunden, in denen eine serialisierte DAG erneut aus der Datenbank abgerufen wird, wenn sie bereits in die geladen wurde. DagBag
Standard: 10
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Sekunden erhöhen, in denen eine serialisierte DAG erneut abgerufen wird. Der Wert muss größer als der unter angegebene Wert sein, core.min_serialized_dag_update_interval um die Schreibraten der Datenbank zu reduzieren. Eine Erhöhung dieses Werts reduziert die Belastung des Webservers und der Datenbank, da DAGs serialisiert werden.
|
Aufgaben
Der Apache Airflow Scheduler und die Worker sind beide an Aufgaben beteiligt, die in die Warteschlange gestellt und aus der Warteschlange entfernt werden. Der Scheduler versetzt geparste Aufgaben, die zur Planung bereit sind, von einem Status „Keine“ in den Status „Geplant“. Der Executor, der ebenfalls auf dem Scheduler-Container in Fargate läuft, stellt diese Aufgaben in die Warteschlange und setzt ihren Status auf In Warteschlange. Wenn die Mitarbeiter über Kapazitäten verfügen, nimmt er die Aufgabe aus der Warteschlange und setzt den Status auf Wird ausgeführt. Anschließend ändert sich der Status in Erfolgreich oder Fehlgeschlagen, je nachdem, ob die Aufgabe erfolgreich ist oder nicht.
Parameters
In diesem Abschnitt werden die für Apache Airflow-Aufgaben verfügbaren Konfigurationsoptionen und ihre Anwendungsfälle beschrieben.
Die Standardkonfigurationsoptionen, die Amazon MWAA überschreibt, sind in markiert. red
- Apache Airflow v3
-
| Konfiguration |
Anwendungsfall |
|
core.parallelism
Die maximale Anzahl von Task-Instanzen, die jeder Scheduler gleichzeitig überwachen und ausführen kann.
Standard: Dynamisch festgelegt, basierend auf(maxWorkers * maxCeleryWorkers) / schedulers * 1.5.
|
Verwenden Sie diese Option, um die feste globale Obergrenze für die Gesamtzahl der ausgeführten Aufgaben festzulegen. Sie können diesen Wert beispielsweise erhöhen, um Ihre Metadatenbank vor zu vielen gleichzeitigen Verbindungen zu schützen oder um die Kosten zu begrenzen. Der Standardwert ist hoch, sodass andere Steuerelemente (worker_autoscalePool-Slotsmax_active_tasks_per_dag) als effektive Grenzwerte für die Parallelität dienen.
|
|
core.max_active_tasks_per_dag
Die maximale Anzahl von Taskinstanzen, die bei jeder DAG-Ausführung gleichzeitig ausgeführt werden dürfen.
Standard: 16
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Task-Instanzen erhöhen, die gleichzeitig ausgeführt werden dürfen. Wenn Sie beispielsweise 100 DAGs mit 10 parallelen Aufgaben haben und möchten, dass alle DAGs gleichzeitig ausgeführt werden, berechnen Sie die maximale Parallelität. Multiplizieren Sie die Anzahl der verfügbaren Mitarbeiter mit der Aufgabendichte in celery.worker_concurrency und dividieren Sie sie dann durch die Anzahl der DAGs.
|
|
core.execute_tasks_new_python_interpreter
Legt fest, ob Apache Airflow Aufgaben ausführt, indem er den übergeordneten Prozess forkt oder einen neuen Python-Prozess erstellt.
Standardwert: True
|
Wenn diese Option auf gesetzt istTrue, erkennt Apache Airflow Änderungen, die Sie an Ihren Plugins vornehmen, als neuen Python-Prozess, der zur Ausführung von Aufgaben erstellt wurde.
|
|
celery.worker_concurrency
Amazon MWAA überschreibt die Airflow-Basisinstallation für diese Option, um Workers im Rahmen der Autoscaling-Komponente zu skalieren.
Standard: Nicht zutreffend
|
Any value specified for this option is ignored.
|
|
celery.worker_autoscale
Die Parallelität von Aufgaben für Arbeiter.
Standardwerte:
mw1.micro - 3,0 mw1.small - 5,0 mw1.mittel - 10,0 mw1.large - 20,0 mw1.xlarge - 40,0 mw1.2xgroß - 80,0
|
Verwenden Sie diese Option, um Ressourcen freizusetzen, indem Sie die Anzahl der Mitarbeitermaximum, die mehrere minimum Aufgaben gleichzeitig ausführen, reduzieren. Mitarbeiter akzeptieren bis zu den konfigurierten maximum gleichzeitigen Aufgaben, unabhängig davon, ob genügend Ressourcen dafür vorhanden sind. Wenn Aufgaben ohne ausreichende Ressourcen geplant werden, schlagen die Aufgaben sofort fehl. Wir empfehlen, diesen Wert für ressourcenintensive Aufgaben zu ändern, indem Sie die Werte so reduzieren, dass sie unter den Standardwerten liegen, um mehr Kapazität pro Aufgabe zu ermöglichen.
|
- Apache Airflow v2
-
| Konfiguration |
Anwendungsfall |
|
Kern. Parallelität
Die maximale Anzahl von Task-Instanzen, die jeder Scheduler gleichzeitig überwachen und ausführen kann.
Standard: Dynamisch festgelegt, basierend auf(maxWorkers * maxCeleryWorkers) / schedulers * 1.5.
|
Verwenden Sie diese Option, um die feste globale Obergrenze für die Gesamtzahl der ausgeführten Aufgaben festzulegen. Sie können diesen Wert beispielsweise erhöhen, um Ihre Metadatenbank vor zu vielen gleichzeitigen Verbindungen zu schützen oder um die Kosten zu begrenzen. Der Standardwert ist hoch, sodass andere Steuerelemente (worker_autoscalePool-Slotsmax_active_tasks_per_dag) als effektive Grenzwerte für die Parallelität dienen.
|
|
core.dag_concurrency
Die Anzahl der Taskinstanzen, die für jede DAG gleichzeitig ausgeführt werden dürfen.
Standard: 16
Diese Konfiguration ist seit Airflow 2.2.0 veraltet und wurde ersetzt durch. core.max_active_tasks_per_dag
|
Verwenden Sie diese Option, um Ressourcen freizugeben, indem Sie die Anzahl der Task-Instanzen erhöhen, die gleichzeitig ausgeführt werden dürfen. Wenn Sie beispielsweise 100 DAGs mit 10 parallelen Aufgaben haben und möchten, dass alle DAGs gleichzeitig ausgeführt werden, berechnen Sie die maximale Parallelität. Multiplizieren Sie die Anzahl der verfügbaren Mitarbeiter mit der Aufgabendichte in celery.worker_concurrency und dividieren Sie sie dann durch die Anzahl der DAGs.
|
|
core.execute_tasks_new_python_interpreter
Legt fest, ob Apache Airflow Aufgaben ausführt, indem er den übergeordneten Prozess forkt oder einen neuen Python-Prozess erstellt.
Standardwert: True
|
Wenn diese Option auf gesetzt istTrue, erkennt Apache Airflow Änderungen, die Sie an Ihren Plugins vornehmen, als neuen Python-Prozess, der zur Ausführung von Aufgaben erstellt wurde.
|
|
celery.worker_concurrency
Amazon MWAA überschreibt die Airflow-Basisinstallation für diese Option, um Workers im Rahmen der Autoscaling-Komponente zu skalieren.
Standard: Nicht zutreffend
|
Any value specified for this option is ignored.
|
|
celery.worker_autoscale
Die Parallelität von Aufgaben für Arbeiter.
Standardwerte:
mw1.micro - 3,0 mw1.small - 5,0 mw1.mittel - 10,0 mw1.large - 20,0 mw1.xlarge - 40,0 mw1.2xgroß - 80,0
|
Verwenden Sie diese Option, um Ressourcen freizusetzen, indem Sie die Anzahl der Mitarbeitermaximum, die mehrere minimum Aufgaben gleichzeitig ausführen, reduzieren. Mitarbeiter akzeptieren bis zu den konfigurierten maximum gleichzeitigen Aufgaben, unabhängig davon, ob genügend Ressourcen dafür vorhanden sind. Wenn Aufgaben ohne ausreichende Ressourcen geplant werden, schlagen die Aufgaben sofort fehl. Wir empfehlen, diesen Wert für ressourcenintensive Aufgaben zu ändern, indem Sie die Werte so reduzieren, dass sie unter den Standardwerten liegen, um mehr Kapazität pro Aufgabe zu ermöglichen.
|
