Was ist Amazon Managed Workflows für Apache Airflow? - Amazon Managed Workflows für Apache Airflow
FeaturesArchitekturIntegrationUnterstützte VersionenAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Amazon Managed Workflows für Apache Airflow?

Amazon Managed Workflows for Apache Airflow ist ein verwalteter Orchestrierungsservice für Apache Airflow, mit dem Sie Daten-Pipelines in der Cloud in großem Umfang einrichten und betreiben können. Apache Airflow ist ein Open-Source-Tool, mit dem Sie Abläufe und Aufgaben, sogenannte Workflows, programmgesteuert erstellen, planen und überwachen können. Mit Amazon können Sie Apache Airflow und Python verwendenMWAA, um Workflows zu erstellen, ohne die zugrunde liegende Infrastruktur im Hinblick auf Skalierbarkeit, Verfügbarkeit und Sicherheit verwalten zu müssen. Amazon skaliert seine Workflow-Ausführungskapazität MWAA automatisch an Ihre Bedürfnisse. Amazon MWAA integriert AWS Sicherheitsdienste, um Ihnen einen schnellen und sicheren Zugriff auf Ihre Daten zu ermöglichen.

Features

  • Automatische Airflow-Einrichtung — Richten Sie Apache Airflow schnell ein, indem Sie beim Erstellen einer Amazon-Umgebung eine Apache Airflow-Version auswählen. MWAA Amazon MWAA richtet Apache Airflow für Sie mit derselben Apache Airflow-Benutzeroberfläche und demselben Open-Source-Code ein, den Sie im Internet herunterladen können.

  • Automatische Skalierung — Skalieren Sie Apache Airflow Workers automatisch, indem Sie die minimale und maximale Anzahl von Workern festlegen, die in Ihrer Umgebung ausgeführt werden. Amazon MWAA überwacht die Mitarbeiter in Ihrer Umgebung und fügt mithilfe seiner Autoscaling-Komponente je nach Bedarf Mitarbeiter hinzu, bis die von Ihnen definierte maximale Anzahl von Mitarbeitern erreicht ist.

  • Integrierte Authentifizierung — Aktivieren Sie die rollenbasierte Authentifizierung und Autorisierung für Ihren Apache Airflow-Webserver, indem Sie die Zugriffskontrollrichtlinien in () definieren. AWS Identity and Access Management IAM Die Apache Airflow Workers übernehmen diese Richtlinien für den sicheren Zugriff auf Dienste. AWS

  • Integrierte Sicherheit — Die Apache Airflow Workers and Schedulers laufen in MWAAAmazons Amazon. VPC Daten werden außerdem automatisch mit verschlüsselt AWS Key Management Service, sodass Ihre Umgebung standardmäßig sicher ist.

  • Öffentliche oder private Zugriffsmodi — Greifen Sie über einen privaten oder öffentlichen Zugriffsmodus auf Ihren Apache Airflow-Webserver zu. Der öffentliche Netzwerkzugriffsmodus verwendet einen VPC Endpunkt für Ihren Apache Airflow-Webserver, auf den über das Internet zugegriffen werden kann. Der private Netzwerkzugriffsmodus verwendet einen VPC Endpunkt für Ihren Apache Airflow-Webserver, auf den in Ihrem zugegriffen werden kann. VPC In beiden Fällen wird der Zugriff für Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie gesteuert, die Sie in AWS Identity and Access Management (IAM) und definieren. AWS SSO

  • Optimierte Upgrades und Patches — Amazon MWAA stellt regelmäßig neue Versionen von Apache Airflow zur Verfügung. Das MWAA Amazon-Team wird die Bilder für diese Versionen aktualisieren und patchen.

  • Workflow-Überwachung — Sehen Sie sich Apache Airflow-Protokolle und Apache Airflow-Metriken in Amazon CloudWatch an, um Verzögerungen oder Workflow-Fehler bei Apache Airflow-Aufgaben zu identifizieren, ohne dass zusätzliche Tools von Drittanbietern erforderlich sind. Amazon sendet MWAA automatisch Umgebungsmetriken — und falls aktiviert — Apache Airflow-Protokolle an. CloudWatch

  • AWS Integration — Amazon MWAA unterstützt Open-Source-Integrationen mit Amazon Athena, Amazon AWS Batch, Amazon DynamoDB CloudWatch, Amazon, Amazon AWS DataSync EMR, AWS Fargate Amazon Data FirehoseEKS,, Amazon Redshift, Amazon AWS Glue AWS Lambda, Amazon, Amazon und Amazon SQS S3 sowie Hunderte von integrierten und von der Community erstellten Operatoren und Sensoren. SNS SageMaker

  • Arbeiterflotten — Amazon MWAA bietet Unterstützung für den Einsatz von Containern, um die Mitarbeiterflotte nach Bedarf zu skalieren und die Ausfallzeiten der Planer zu reduzieren, wenn Amazon on aktiviert ist. ECS AWS Fargate Operatoren, die Aufgaben in ECS Amazon-Containern aufrufen, und Kubernetes-Operatoren, die Pods auf einem Kubernetes-Cluster erstellen und ausführen, werden unterstützt.

Architektur

Alle in der äußeren Verpackung enthaltenen Komponenten (im Bild unten) werden in Ihrem Konto als eine einzige MWAA Amazon-Umgebung angezeigt. Der Apache Airflow Scheduler und Workers sind AWS Fargate Container, die eine Verbindung zu den privaten Subnetzen in Amazon VPC für Ihre Umgebung herstellen. Jede Umgebung hat ihre eigene Apache Airflow-Metadatenbank, die von ihr verwaltet wird und auf AWS die die Container Scheduler und Workers Fargate über einen privat gesicherten Endpunkt zugreifen können. VPC

Amazon CloudWatch, Amazon S3SQS, Amazon und AWS KMS sind von Amazon getrennt MWAA und müssen über die Apache Airflow Scheduler (s) und Workers in den Fargate-Containern zugänglich sein.

Auf den Apache Airflow-Webserver kann entweder über das Internet zugegriffen werden, indem Sie den Apache Airflow-Zugriffsmodus für öffentliches Netzwerk auswählen, oder innerhalb Ihres, VPC indem Sie den Apache Airflow-Zugriffsmodus für private Netzwerke auswählen. In beiden Fällen wird der Zugriff für Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie gesteuert, die Sie in () definieren. AWS Identity and Access Management IAM

Anmerkung

Mehrere Apache Airflow Scheduler sind nur mit Apache Airflow v2 und höher verfügbar. Weitere Informationen zum Apache Airflow-Aufgabenlebenszyklus finden Sie unter Konzepte im Apache Airflow-Referenzhandbuch.

Dieses Bild zeigt die Architektur einer MWAA Amazon-Umgebung.

Integration

Die aktive und wachsende Open-Source-Community von Apache Airflow stellt Betreibern (Plugins, die Verbindungen zu Diensten vereinfachen) zur Integration von Apache Airflow in Dienste zur Verfügung. AWS Dazu gehören Dienste wie Amazon S3, Amazon Redshift EMR AWS Batch, Amazon und Amazon SageMaker sowie Dienste auf anderen Cloud-Plattformen.

Die Verwendung von Apache Airflow mit Amazon unterstützt MWAA vollständig die Integration mit AWS Diensten und beliebten Tools von Drittanbietern wie Apache Hadoop, Presto, Hive und Spark zur Ausführung von Datenverarbeitungsaufgaben. Amazon MWAA ist bestrebt, die Kompatibilität mit Amazon aufrechtzuerhalten MWAAAPI, und Amazon MWAA beabsichtigt, zuverlässige Integrationen für AWS Dienste bereitzustellen und sie der Community zur Verfügung zu stellen und sich an der Entwicklung von Community-Funktionen zu beteiligen.

Einen Beispiel-Code finden Sie unter Codebeispiele für Amazon Managed Workflows für Apache Airflow.

Unterstützte Versionen

Amazon MWAA unterstützt mehrere Versionen von Apache Airflow. Weitere Informationen zu den von uns unterstützten Apache Airflow-Versionen und den in jeder Version enthaltenen Apache Airflow-Komponenten finden Sie unter. Apache Airflow-Versionen auf Amazon Managed Workflows für Apache Airflow

Als nächstes