Häufig gestellte Fragen zu Amazon MWAA

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auf dieser Seite werden häufig gestellte Fragen beschrieben, auf die Sie bei der Verwendung von Amazon Managed Workflows für Apache Airflow stoßen können.

Unterstützte Versionen

Was unterstützt Amazon MWAA für Apache Airflow v2?

Informationen darüber, was Amazon MWAA unterstützt, finden Sie unter. Apache Airflow-Versionen auf Amazon Managed Workflows für Apache Airflow

Warum werden ältere Versionen von Apache Airflow nicht unterstützt?

Aus Sicherheitsgründen bei älteren Versionen unterstützen wir nur die neueste Apache Airflow-Version Apache Airflow v1.10.12.

Welche Python-Version sollte ich verwenden?

Die folgenden Apache Airflow-Versionen werden von Amazon Managed Workflows for Apache Airflow unterstützt.

Weitere Informationen zur Migration Ihrer selbstverwalteten Apache Airflow-Bereitstellungen oder zur Migration einer vorhandenen Amazon MWAA-Umgebung, einschließlich Anweisungen zur Sicherung Ihrer Metadatendatenbank, finden Sie im Amazon MWAA-Migrationsleitfaden.

Welche Version von pip verwendet Amazon MWAA?

Für Umgebungen, in denen Apache Airflow v1.10.12 ausgeführt wird, installiert Amazon MWAA Version 21.1.2. pip

Für Umgebungen, in denen Apache Airflow v2 und höher ausgeführt wird, installiert pip Amazon MWAA Version 21.3.1.

Anwendungsfälle

Wann sollte ich vs. verwenden AWS Step Functions Amazon MWAA?

Spezifikationen für die Umgebung

Wie viel Aufgabenspeicher steht jeder Umgebung zur Verfügung?

Der Aufgabenspeicher ist auf 20 GB begrenzt und wird durch Amazon ECS Fargate 1.4 spezifiziert. Die Größe des Arbeitsspeichers wird durch die von Ihnen angegebene Umgebungsklasse bestimmt. Weitere Hinweise zu Umgebungsklassen finden Sie unterKonfiguration der Amazon MWAA-Umgebungsklasse.

Welches Standardbetriebssystem wird für Amazon MWAA-Umgebungen verwendet?

Amazon MWAA-Umgebungen werden auf Instances erstellt, auf denen Amazon Linux 2 für Versionen 2.6 und älter ausgeführt wird, und auf Instances, auf denen Amazon Linux 2023 für Versionen 2.7 und neuer ausgeführt wird.

Kann ich ein benutzerdefiniertes Image für meine Amazon MWAA-Umgebung verwenden?

Benutzerdefinierte Bilder werden nicht unterstützt. Amazon MWAA verwendet Images, die auf Amazon Linux AMI basieren. Amazon MWAA installiert die zusätzlichen Anforderungen, indem es die in der Datei requirements.txt angegebenen Anforderungen erfüllt, die Sie dem Amazon S3 S3-Bucket für die Umgebung hinzufügen. pip3 -r install

Ist Amazon MWAA HIPAA-konform?

Amazon MWAA ist nach dem Health Insurance Portability and Accountability Act (HIPAA) berechtigt. Wenn Sie über einen HIPAA Business Associate Addendum (BAA) verfügen, können Sie Amazon MWAA für Workflows verwenden AWS, die geschützte Gesundheitsinformationen (PHI) in Umgebungen verarbeiten, die am oder nach dem 14. November 2022 erstellt wurden.

Unterstützt Amazon MWAA Spot-Instances?

Amazon MWAA unterstützt derzeit keine EC2 On-Demand-Amazon-Spot-Instance-Typen für Apache Airflow. Eine Amazon MWAA-Umgebung kann jedoch Spot-Instances beispielsweise auf Amazon EMR und Amazon auslösen. EC2

Unterstützt Amazon MWAA eine benutzerdefinierte Domain?

Um eine benutzerdefinierte Domain für Ihren Amazon MWAA-Hostnamen verwenden zu können, gehen Sie wie folgt vor:

Kann ich per SSH auf meine Umgebung zugreifen?

SSH wird in einer Amazon MWAA-Umgebung zwar nicht unterstützt, es ist jedoch möglich, eine DAG zu verwenden, um Bash-Befehle mit dem auszuführen. BashOperator Zum Beispiel:

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Um die DAG in der Apache Airflow-Benutzeroberfläche auszulösen, verwenden Sie:

{ "command" : "your bash command"}

Warum ist eine selbstreferenzierende Regel für die VPC-Sicherheitsgruppe erforderlich?

Wenn Sie eine Regel mit Selbstreferenzierung erstellen, beschränken Sie die Quelle auf dieselbe Sicherheitsgruppe in der VPC und sie ist nicht für alle Netzwerke geöffnet. Weitere Informationen hierzu finden Sie unter Sicherheit in Ihrer VPC auf Amazon MWAA.

Kann ich Umgebungen vor verschiedenen Gruppen in IAM verbergen?

Sie können den Zugriff einschränken AWS Identity and Access Management, indem Sie in der Konsole einen Umgebungsnamen angeben. Die Sichtbarkeitsfilterung ist in der AWS Konsole jedoch nicht verfügbar. Wenn ein Benutzer eine Umgebung sehen kann, kann er alle Umgebungen sehen.

Kann ich temporäre Daten auf dem Apache Airflow Worker speichern?

Ihre Apache Airflow Operators können temporäre Daten auf den Workers speichern. Apache Airflow Workers können auf temporäre Dateien in den /tmp Fargate-Containern für Ihre Umgebung zugreifen.

Kann ich mehr als 25 Apache Airflow Workers angeben?

Ja. Sie können zwar bis zu 25 Apache Airflow-Worker auf der Amazon MWAA-Konsole angeben, aber Sie können bis zu 50 in einer Umgebung konfigurieren, indem Sie eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Anfordern einer Kontingenterhöhung.

Unterstützt Amazon MWAA gemeinsam genutzte Amazon VPCs - oder gemeinsame Subnetze?

Amazon MWAA unterstützt keine gemeinsamen Amazon VPCs - oder geteilten Subnetze. Die Amazon-VPC, die Sie beim Erstellen einer Umgebung auswählen, sollte dem Konto gehören, das versucht, die Umgebung zu erstellen. Sie können jedoch Traffic von einer Amazon VPC im Amazon MWAA-Konto an eine gemeinsam genutzte VPC weiterleiten. Weitere Informationen und ein Beispiel für die Weiterleitung von Datenverkehr an eine gemeinsam genutzte Amazon VPC finden Sie unter Zentralisiertes ausgehendes Routing ins Internet im Amazon VPC Transit Gateways Guide.

Kann ich benutzerdefinierte Amazon SQS SQS-Warteschlangen erstellen oder integrieren, um die Aufgabenausführung und Workflow-Orchestrierung in Apache Airflow zu verwalten?

Nein, Sie können keine benutzerdefinierten Amazon SQS-Warteschlangen in Amazon MWAA erstellen, ändern oder verwenden. Das liegt daran, dass Amazon MWAA automatisch eine eigene Amazon SQS SQS-Warteschlange für jede Amazon MWAA-Umgebung bereitstellt und verwaltet.

Metriken

Welche Metriken werden verwendet, um zu bestimmen, ob Workers skaliert werden sollte?

Amazon MWAA überwacht den QueuedTasksund RunningTasksin, CloudWatch um festzustellen, ob Apache Airflow Workers in Ihrer Umgebung skaliert werden sollte. Weitere Informationen hierzu finden Sie unter Überwachung und Metriken für Amazon Managed Workflows for Apache Airflow.

Kann ich benutzerdefinierte Metriken in erstellen? CloudWatch

Nicht auf der CloudWatch Konsole. Sie können jedoch eine DAG erstellen, in die benutzerdefinierte Messwerte geschrieben CloudWatch werden. Weitere Informationen finden Sie unter Verwenden einer DAG zum Schreiben benutzerdefinierter Metriken in CloudWatch.

DAGs, Operatoren, Verbindungen und andere Fragen

Kann ich das benutzenPythonVirtualenvOperator?

Das PythonVirtualenvOperator wird auf Amazon MWAA nicht ausdrücklich unterstützt, aber Sie können ein benutzerdefiniertes Plugin erstellen, das das verwendet. PythonVirtualenvOperator Einen Beispiel-Code finden Sie unter Ein benutzerdefiniertes Plugin für Apache Airflow erstellen PythonVirtualenvOperator.

Wie lange dauert es, bis Amazon MWAA eine neue DAG-Datei erkennt?

DAGs werden regelmäßig vom Amazon S3 S3-Bucket mit Ihrer Umgebung synchronisiert. Wenn Sie eine neue DAG-Datei hinzufügen, dauert es etwa 300 Sekunden, bis Amazon MWAA die neue Datei verwendet. Wenn Sie eine bestehende DAG aktualisieren, benötigt Amazon MWAA etwa 30 Sekunden, bis Ihre Aktualisierungen erkannt werden.

Diese Werte, 300 Sekunden für neue DAGs und 30 Sekunden für Aktualisierungen vorhandener DAGs, entsprechen den Apache Airflow-Konfigurationsoptionen dag_dir_list_intervalbzw. min_file_process_interval

Warum wird meine DAG-Datei nicht von Apache Airflow abgerufen?

Im Folgenden finden Sie mögliche Lösungen für dieses Problem:

Kann ich ein plugins.zip oder requirements.txt aus einer Umgebung entfernen?

Derzeit gibt es keine Möglichkeit, plugins.zip oder requirements.txt aus einer Umgebung zu entfernen, nachdem sie hinzugefügt wurden, aber wir arbeiten an dem Problem. In der Zwischenzeit können Sie das Problem umgehen, indem Sie auf eine leere Text- bzw. ZIP-Datei verweisen. Weitere Informationen hierzu finden Sie unter Löschen von Dateien auf Amazon S3.

Warum sehe ich meine Plugins nicht im Admin-Plugins-Menü von Apache Airflow v2.0.2?

Aus Sicherheitsgründen hat der Apache Airflow-Webserver auf Amazon MWAA einen begrenzten Netzwerkausgang und installiert weder Plugins noch Python-Abhängigkeiten direkt auf dem Apache Airflow-Webserver für Umgebungen der Version 2.0.2. Das abgebildete Plugin ermöglicht es Amazon MWAA, Ihre Apache Airflow-Benutzer in AWS Identity and Access Management (IAM) zu authentifizieren.

Um Plugins und Python-Abhängigkeiten direkt auf dem Webserver installieren zu können, empfehlen wir, eine neue Umgebung mit Apache Airflow v2.2 und höher zu erstellen. Amazon MWAA installiert Python-Abhängigkeiten und benutzerdefinierte Plugins direkt auf dem Webserver für Apache Airflow v2.2 und höher.

Kann ich DMS-Operatoren ( AWS Database Migration Service) verwenden?

Amazon MWAA unterstützt DMS-Operatoren. Dieser Operator kann jedoch nicht verwendet werden, um Aktionen in der Amazon Aurora PostgreSQL-Metadatendatenbank durchzuführen, die mit einer Amazon MWAA-Umgebung verknüpft ist.

Kann ich das Drosselungslimit auf mehr als 10 Transaktionen pro Sekunde (TPS) erhöhen, wenn ich mit den AWS Anmeldeinformationen auf die Airflow-REST-API zugreife?

Ja, das können Sie. Um das Drosselungslimit zu erhöhen, wenden Sie sich bitte an den AWS Kundensupport.