Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Was sind Amazon Managed Workflows für Apache Airflow?
Verwenden Sie Amazon Managed Workflows for Apache Airflow, einen verwalteten Service für Apache Airflow
Mit Amazon MWAA können Sie Apache Airflow und Python verwenden, um Workflows zu erstellen, ohne die Infrastruktur aus Gründen der Skalierbarkeit, Verfügbarkeit und Sicherheit verwalten zu müssen. Amazon MWAA skaliert automatisch, um Ihre Workflow-Anforderungen zu erfüllen. Es lässt sich in AWS Sicherheitsdienste integrieren, um einen schnellen und sicheren Zugriff auf Ihre Daten zu ermöglichen.
Features
Sehen Sie sich die folgenden Funktionen an, um zu erfahren, wie Amazon MWAA die Verwaltung Ihrer Apache Airflow-Workflows vereinfachen kann.
-
Automatische Airflow-Setup — Richten Sie Apache Airflow schnell ein, indem Sie bei der Erstellung einer Amazon MWAA-Umgebung eine Apache Airflow-Version auswählen. Amazon MWAA richtet Apache Airflow für Sie ein und verwendet dabei dieselbe Apache Airflow-Benutzeroberfläche und denselben Open-Source-Code, der im Internet verfügbar ist.
-
Automatische Skalierung — Skalieren Sie automatisch die Apache Airflow-Worker (die Rechenressourcen, die Ihre Aufgaben ausführen), indem Sie Mindest- und Höchstgrenzen festlegen. Amazon MWAA überwacht die Mitarbeiter in Ihrer Umgebung und verwendet seine Autoscaling-Komponente, um Mitarbeiter hinzuzufügen, um der Nachfrage gerecht zu werden, bis zu der von Ihnen definierten Höchstzahl.
-
Built-in Authentifizierung — Aktivieren Sie die rollenbasierte Authentifizierung und Autorisierung für Ihren Apache Airflow-Webserver, indem Sie die Zugriffskontrollrichtlinien in (IAM) definieren. AWS Identity and Access Management Die Apache Airflow-Mitarbeiter übernehmen diese Richtlinien für den sicheren Zugriff auf Dienste. AWS
-
Built-in Sicherheit — Die Apache Airflow-Worker und Scheduler werden in der Amazon VPC von Amazon MWAA ausgeführt. Daten werden außerdem automatisch mit verschlüsselt AWS Key Management Service, sodass Ihre Umgebung standardmäßig sicher ist.
-
Öffentlicher oder privater Zugriffsmodi — Greifen Sie mit einem privaten oder öffentlichen Zugriffsmodus auf Ihren Apache Airflow-Webserver zu. Der öffentliche Netzwerkzugriffsmodus verwendet einen VPC-Endpunkt für Ihren Apache Airflow-Webserver, auf den über das Internet zugegriffen werden kann. Der private Netzwerkzugriffsmodus verwendet einen VPC-Endpunkt für Ihren Apache Airflow-Webserver, auf den in Ihrer VPC zugegriffen werden kann. In beiden Fällen wird der Zugriff für Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie, die Sie in AWS Identity and Access Management (IAM) definieren, und durch SSO gesteuert. AWS
-
Optimierte Upgrades und Patches — Amazon MWAA stellt regelmäßig neue Versionen von Apache Airflow bereit. Das Amazon MWAA-Team aktualisiert und patcht die Images für diese Versionen.
-
Workflow-Überwachung — Greifen Sie auf Apache Airflow-Protokolle und Apache Airflow-Metriken in Amazon CloudWatch zu, um Verzögerungen bei Apache Airflow-Aufgaben oder Workflow-Fehler zu identifizieren, ohne dass zusätzliche Tools von Drittanbietern erforderlich sind. Amazon MWAA sendet automatisch Umgebungsmetriken — und falls aktiviert — die Apache Airflow-Protokolle an. CloudWatch
-
AWS Integration — Amazon MWA unterstützt Open-Source-Integrationen mit Amazon Athena, Amazon AWS Batch CloudWatch, Amazon DynamoDB AWS DataSync, Amazon EMR, AWS Fargate Amazon EKS, Amazon Data Firehose AWS Glue, AWS Lambda Amazon Redshift, Amazon SQS, Amazon SNS, Amazon SageMaker AI und Amazon S3 sowie Hunderten von integrierten und von der Community erstellten Operatoren und Sensoren.
-
Mitarbeiterflotten — Amazon MWAA bietet Unterstützung für die Verwendung von Containern zur bedarfsgerechten Skalierung der Mitarbeiterflotte und zur Reduzierung von Terminplanerausfällen, wenn Amazon ECS aktiviert ist AWS Fargate. Operatoren, die Aufgaben auf Amazon ECS-Containern aufrufen, und Kubernetes-Operatoren, die Pods auf einem Kubernetes-Cluster erstellen und ausführen, werden unterstützt.
Architektur
Alle in der äußeren Box enthaltenen Komponenten (in der folgenden Abbildung) werden in Ihrem Konto als einzelne Amazon MWAA-Umgebung angezeigt. Der Apache Airflow Scheduler und die Worker sind AWS Fargate Container, die eine Verbindung zu den privaten Subnetzen in der Amazon VPC für Ihre Umgebung herstellen. Jede Umgebung hat ihre eigene Apache Airflow-Metadatenbank, die von ihr verwaltet wird und auf die der Scheduler und AWS die Worker der Fargate-Container über einen privat gesicherten VPC-Endpunkt zugreifen können.
Amazon CloudWatch, Amazon S3, Amazon SQS und AWS KMS sind von Amazon MWAA getrennt und müssen von den Apache Airflow-Schedulern und Workern in den Fargate-Containern aus zugänglich sein. Mehrere Apache Airflow-Scheduler sind nur mit Apache Airflow v2 und höher verfügbar. Weitere Informationen zum Apache Airflow-Aufgabenlebenszyklus finden Sie unter Konzepte
Auf den Apache Airflow-Webserver kann entweder über das Internet zugegriffen werden, indem Sie den Apache Airflow-Zugriffsmodus Öffentliches Netzwerk auswählen, oder innerhalb Ihrer VPC, indem Sie den Apache Airflow-Zugriffsmodus Privates Netzwerk auswählen. In beiden Fällen wird der Zugriff für Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie gesteuert, die Sie in (IAM) definieren. AWS Identity and Access Management
Anmerkung
Ab Apache Airflow v3 hostet der Amazon MWAA-Webserver auch den Ausführungs-API-Server von Apache Airflow.
Integration
Die aktive und wachsende Open-Source-Community von Apache Airflow stellt Betreibern (Plugins, die Verbindungen zu Diensten vereinfachen) zur Integration von Apache Airflow in Dienste zur Verfügung. AWS Dazu gehören Dienste wie Amazon S3, Amazon Redshift, Amazon EMR und Amazon SageMaker AI sowie Dienste auf anderen Cloud-Plattformen. AWS Batch
Die Verwendung von Apache Airflow mit Amazon MWAA unterstützt die Integration mit AWS Diensten und beliebten Tools von Drittanbietern wie Apache Hadoop, Presto, Hive und Spark zur Ausführung von Datenverarbeitungsaufgaben vollständig. Amazon MWAA ist bestrebt, die Kompatibilität mit der Apache Airflow-API aufrechtzuerhalten, und Amazon MWAA beabsichtigt, zuverlässige Integrationen für AWS Dienste bereitzustellen und sie der Community zur Verfügung zu stellen und an der Entwicklung von Community-Funktionen beteiligt zu sein.
Einen Beispielcode finden Sie unter. Codebeispiele für Amazon Managed Workflows für Apache Airflow
Unterstützte Versionen
Amazon MWAA unterstützt mehrere Versionen von Apache Airflow. Weitere Informationen zu den Apache Airflow-Versionen, die wir unterstützen, und zu den Apache Airflow-Komponenten, die in jeder Version enthalten sind, finden Sie unter. Apache-Airflow-Versionen in von Amazon verwalteten Workflows für Apache Airflow
Als nächstes
-
Beginnen Sie mit einer einzigen CloudFormation Vorlage, die einen Amazon S3-Bucket für Ihre Airflow-DAGs und unterstützenden Dateien, eine Amazon VPC mit öffentlichem Routing und eine Amazon MWAA-Umgebung in erstellt. Schnellstart-Tutorial für Amazon Managed Workflows für Apache Airflow
-
Beginnen Sie schrittweise, indem Sie einen Amazon S3-Bucket für Ihre Airflow-DAGs und unterstützenden Dateien erstellen, eine von drei Amazon VPC-Netzwerkoptionen auswählen und eine Amazon MWAA-Umgebung in erstellen. Erste Schritte mit von Amazon verwalteten Workflows für Apache Airflow
