AWS Modell der gemeinsamen Verantwortung für Amazon MWAA

Apache Airflow-Setup — Amazon MWAA richtet Apache Airflow für Sie ein. Es verwendet dieselbe Apache Airflow-Benutzeroberfläche und denselben Open-Source-Code, der im Internet verfügbar ist. Weitere Informationen finden Sie unter Was sind Amazon Managed Workflows für Apache Airflow?.

Berechnungen für die verwalteten Komponenten — Amazon MWAA stellt die AWS Fargate Rechenleistung für Ihre Umgebung bereit und betreibt sie. Auf dieser Rechenleistung werden der Apache Airflow Scheduler, die Worker und der Webserver ausgeführt. Amazon MWAA stellt auch die Apache Airflow-Metadatendatenbank bereit und betreibt sie. Für jede Umgebung erstellt Amazon MWAA eine AWS eigene Amazon VPC, die den Webserver und die Metadatendatenbank hostet. Der Scheduler und die Worker stellen eine Verbindung zu den privaten Subnetzen in der Amazon VPC für Ihre Umgebung her, die Sie besitzen und konfigurieren. Weitere Informationen finden Sie unter Erkunden der Amazon MWAA-Netzwerkarchitektur im Amazon MWAA-Migrationshandbuch.

Die Apache Airflow-Metadatendatenbank — Amazon MWAA stellt die Apache Airflow-Metadatendatenbank für jede Umgebung bereit und betreibt sie. Sie bleiben für das Datenvolumen verantwortlich, das Ihre Workflows in das System schreiben. Weitere Informationen finden Sie unter Operative Exzellenz, die Sie verwalten.

Versions-Images und Patches — Amazon MWAA erstellt Container-Images, die Apache Airflow-Versionen mit anderen gängigen Binärdateien und Bibliotheken bündeln. Python Amazon MWAA patcht diese Images. Eine Umgebung verwendet weiterhin ihre angegebene Image-Version, bis Sie eine Aktion zum Aktualisieren der Umgebung ausführen, um sie auf eine neuere Version zu verschieben. Weitere Informationen finden Sie unter Über Amazon MWAA-Versionen. Die Bilddefinitionen sind im https://github.com/aws/amazon-mwaa-docker-images Amazon-MWAA-Docker-Images-Repository auf der Website verfügbar. GitHub

Lebenszyklus der Versionsunterstützung — Amazon MWAA veröffentlicht die Verfügbarkeit und das Ende des Supports für jede Apache Airflow-Version. Amazon MWAA benachrichtigt Sie, Health Dashboard wenn in einer Umgebung in Ihrem Konto eine Version ausgeführt wird, die sich dem Ende des Supports nähert. Informationen zur aktuellen Support-Zusage und zu den aktuellen Terminen finden Sie unter. End-of-support Versionen

Automatische Skalierung der verwalteten Komponenten — Amazon MWAA skaliert Mitarbeiter und Webserver je nach Bedarf. Die Skalierung bleibt innerhalb der von Ihnen konfigurierten Grenzen. Sie wählen die Umgebungsklasse, die Worker- und Webserver-Skalierungseinstellungen sowie die Anzahl der Scheduler. Weitere Informationen finden Sie unter Konfiguration der automatischen Skalierung von Amazon MWAA Worker, Konfiguration der automatischen Skalierung des Amazon MWAA-Webservers und Konfiguration der Amazon MWAA-Umgebungsklasse.

Datenverschlüsselung — Amazon MWAA verschlüsselt Ihre Daten im Ruhezustand und bei der Übertragung. Amazon MWAA ordnet die erforderlichen Zuschüsse außerdem in Ihrem Namen einem vom Kunden verwalteten KMS-Schlüssel zu. Weitere Informationen finden Sie unter Datenschutz in von Amazon verwalteten Workflows für Apache Airflow.

Metriken und Protokolle — Amazon MWAA veröffentlicht Umgebungskennzahlen für Amazon. CloudWatch Amazon MWAA übermittelt Apache CloudWatch Airflow-Protokolle für die von Ihnen aktivierten Protokolltypen an Logs. Weitere Informationen finden Sie unter Überblick über die Überwachung auf Amazon MWAA.

Compliance-Programme — Third-party Auditoren testen und verifizieren regelmäßig die Wirksamkeit der Sicherheitsmaßnahmen. AWS Weitere Informationen finden Sie unter Konformitätsüberprüfung für von Amazon verwaltete Workflows für Apache Airflow.

DAG-Code — Die DAG-Definitionen, die Sie in den dags Ordner in Ihrem Amazon S3-Bucket kopieren. Sie sind dafür verantwortlich, auf was diese DAGs zugreifen und welche Operationen sie ausführen. Weitere Informationen finden Sie unter Hinzufügen oder Aktualisieren DAGs.

PythonAbhängigkeiten — Die Bibliotheken, die Sie installieren, indem Sie eine requirements.txt Datei in Ihren Amazon S3-Bucket hochladen. Dies beinhaltet die Sicherheit und Kompatibilität aller Pakete, die Ihre Workflows benötigen. Inkompatible oder ressourcenintensive Pakete können die Leistung von Scheduler und Worker beeinträchtigen oder den Start von Containern verhindern. Weitere Informationen erhalten Sie unter Python-Abhängigkeiten installieren und Verwaltung von Python-Abhängigkeiten in requirements.txt.

Benutzerdefinierte Plugins — Der Inhalt der plugins.zip Datei, die Sie in Ihren Amazon S3-Bucket hochladen. Wir empfehlen, den Inhalt der Datei zu überprüfen, bevor Sie sie hochladen. Weitere Informationen finden Sie unter Installation benutzerdefinierter Plugins.

Startskripts — Das Shell-Skript, das Amazon MWAA beim Start auf jeder Komponente ausführt. Sie geben auch die Amazon S3-Versions-ID für das Skript an. Weitere Informationen finden Sie unter Verwenden eines Startup-Skripts mit Amazon MWAA.

Testen — Validieren Sie Ihre DAGs, benutzerdefinierten Plugins und Python Abhängigkeiten, bevor Sie sie in einer Umgebung bereitstellen. Wir empfehlen, Apache Airflow-Versionsupgrades in einer Entwicklungsumgebung zu testen, bevor Sie sie auf die Produktion anwenden. Sie können das Container-Image amazon-mwaa-docker-images auf der Website verwenden, um lokal zu entwickeln und zu testen. GitHub

Ihr Amazon S3-Bucket und sein Inhalt — Die Bucket-Richtlinie und die Objekt-ACLs für den Bucket, der Ihrer Umgebung zugeordnet ist. Amazon MWAA erstellt keine Sicherungskopien der Bucket-Inhalte in Ihrem Namen. Wir empfehlen, die Versionierung zu aktivieren und die regionsübergreifende Replikation zu konfigurieren, wenn Ihre DAGs, Plugins und Anforderungsdateien eine Notfallwiederherstellung erfordern. Wir empfehlen außerdem, keine anderen Objekte im Bucket zu speichern oder den Bucket nicht mit einem anderen Service zu verwenden.

Daten, die Sie eingeben — Wir empfehlen dringend, niemals vertrauliche oder vertrauliche Informationen in Tags oder Freiformfelder wie ein Namensfeld einzugeben.

Überwachung des Zustands der Umgebung — Überprüfung der CloudWatch Metriken, die Amazon MWAA für Ihre Umgebung veröffentlicht. Dazu gehören Container-, Warteschlangen- und Datenbankmetriken, mit deren Hilfe Sie Überlastung und Verschlechterung erkennen können. Weitere Informationen erhalten Sie unter Überwachung und Metriken für Amazon Managed Workflows für Apache Airflow und Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA.

Dashboards und Alarme — Erstellung von CloudWatch Dashboards und Alarmen, die Sie benachrichtigen, wenn Ihre Umgebung an ihre Grenzen stößt. Weitere Informationen finden Sie unter Überwachung von Dashboards und Alarmen auf Amazon MWAA.

Protokollanalyse — Aktivierung der Apache Airflow-Protokolltypen, die Sie benötigen. Anschließend analysieren Sie Scheduler-, Worker-, Webserver- und Task-Protokolle, um Workflow-Fehler zu diagnostizieren. Weitere Informationen erhalten Sie unter Zugreifen auf Airflow-Protokolle in Amazon CloudWatch und Problembehandlung: CloudWatch Protokolle und CloudTrail Fehler.

CloudWatch Dienstkontingente — Stellen Sie sicher, dass die CloudWatch Kontingente in Ihrem Konto das in Ihrer Umgebung erzeugte Protokollvolumen bewältigen können. Eine Überschreitung der CloudWatch Protokollquoten CreateLogStream kann beispielsweise zu einer Beeinträchtigung der Belegschaft führen. Weitere Informationen finden Sie unter Kontingente für CloudWatch Protokolle.

Wartung der Metadaten-Datenbank — Wir sorgen dafür, dass die Apache Airflow-Metadaten-Datenbank übersichtlich bleibt. Entfernen Sie regelmäßig Metadaten, die Ihre Workflows nicht mehr benötigen. Eine unbegrenzte Metadaten-Datenbank kann die Leistung von Scheduler und Webserver beeinträchtigen. Weitere Informationen finden Sie unter Aurora PostgreSQL-Datenbankbereinigung in einer Amazon MWAA-Umgebung.

DAG-Design und Planungshäufigkeit — Ihre DAG-Anzahl, die Aufgaben pro DAG und die Zeitplanintervalle bestimmen direkt die Auslastung des verwalteten Schedulers. Amazon MWAA drosselt oder lehnt Workloads, die die Kapazität der Umgebung überschreiten, nicht ab. Sie müssen Ihre DAGs so gestalten, dass sie in die von Ihnen konfigurierten Ressourcen passen.

Verwaltung der Aufgabenressourcen — Festlegung von Timeouts auf Aufgabenebene, Apache Airflow-Poolgrößen und Parallelitätsbeschränkungen pro DAG. Amazon MWAA setzt in Ihrem Namen keine Regeln pro Aufgabe durch. Ohne diese Einstellungen kann eine einzelne DAG mit langer Laufzeit oder hoher Parallelität alle verfügbaren Worker verbrauchen.

Kapazitäts- und Leistungsoptimierung — Wählen Sie die Umgebungsklasse, die Skalierungsgrenzen für Worker und Webserver und die Apache Airflow-Konfigurationsoptionen, die zu Ihrer Arbeitslast passen. Die automatische Skalierung erfolgt innerhalb der von Ihnen konfigurierten Grenzen und kompensiert keine Workloads, die die Entwurfskapazität der Umgebung überschreiten. Sie müssen die Größe der Umgebungsklasse für Ihr Workload-Profil anpassen. Weitere Informationen erhalten Sie unter Leistungsoptimierung für Apache Airflow auf Amazon MWAA und Konfiguration der Amazon MWAA-Umgebungsklasse.

Änderungen, die Sie über ein Startskript vornehmen — Ein Startskript wird auf jeder Komponente in Ihrer Umgebung ausgeführt. Es kann die Konfiguration dieser Komponenten ändern. Sie sind für die Änderungen verantwortlich, die Sie auf diese Weise vornehmen, einschließlich aller Auswirkungen, die sie auf die Umgebungsstabilität haben. Wir empfehlen, ein Startskript zu testen, bevor Sie es auf eine Produktionsumgebung anwenden. Weitere Informationen finden Sie unter Verwenden eines Startup-Skripts mit Amazon MWAA.

Umgebungsaktualisierungen — Das Initiieren eines Umgebungsupdates ist Ihre Aktion. Updates lösen Container-Neustarts aus und können sich auf laufende Workflows auswirken. Sie sind dafür verantwortlich, zu entscheiden, wann die Aktualisierung erfolgen soll, und für die Bewertung der Auswirkungen auf laufende Aufgaben. Wir empfehlen, die Aktualisierung in einem von Ihnen gewählten Zeitfenster durchzuführen, in dem keine wichtigen DAGs ausgeführt werden. Um Ihre DAGs zu aktualisieren, ohne die DAGs anzuhalten und wieder aufzuheben, sollten Sie regelmäßige Aktualisierungen in Betracht ziehen. So können Mitarbeiter laufende Aufgaben erledigen, bevor sie heruntergefahren werden. Es gelten Bedingungen und Beschränkungen. Weitere Informationen finden Sie unter Aktualisieren einer Amazon MWAA-Umgebung. Aktualisieren Sie eine Amazon MWAA-Umgebung

First-level Triage — Verwenden Sie verfügbare Metriken und Protokolle, um Probleme zu diagnostizieren, bevor Sie sich an den Support wenden. AWS Der Detaillierungsgrad, den der AWS Support verwenden kann, um Ihnen zu helfen, hängt von der Protokollierungsebene ab, die Sie für Ihre Umgebung aktiviert haben.

Cross-environment Orchestrierung — Koordination von Workflows in mehreren Amazon MWAA-Umgebungen. Wenn Sie Mechanismen wie die Apache Airflow REST-API oder externe Sensoren verwenden, um Umgebungen zu verbinden, sind Sie für diese Koordinationslogik verantwortlich.

Befolgung der Best Practices von Amazon MWAA — Anwendung der dokumentierten Leitlinien für Leistung, Abhängigkeitsmanagement und Umgebungskonfiguration. Weitere Informationen finden Sie unter Bewährte Methoden für Amazon Managed Workflows für Apache Airflow.

Halten Sie Ihre Version auf dem neuesten Stand — Sie sind dafür verantwortlich, Ihre Amazon MWAA-Versionen auf dem neuesten Stand zu halten. Das Upgrade einer Umgebung auf eine neuere Apache Airflow-Version ist eine Aktion, die Sie initiieren. Weitere Informationen erhalten Sie unter Änderung der Apache Airflow Airflow-Version und End-of-support Versionen.

Die Ausführungsrolle — Amazon MWAA kann nach der Erstellung einer Umgebung keine Berechtigungsrichtlinien für eine bestehende Ausführungsrolle hinzufügen oder bearbeiten. Sie müssen die Ausführungsrolle mit den zusätzlichen Berechtigungen aktualisieren, die Ihre Umgebung benötigt. Weitere Informationen finden Sie unter Amazon MWAA-Ausführungsrolle.

IAM-Zugriffskontrolle — Die Richtlinien, die festlegen, wer auf Ihre Umgebung und die Apache Airflow-Benutzeroberfläche zugreifen kann. Gewähren Sie nur Berechtigungen für die Ressourcen und Aktionen, die Benutzer benötigen. Weitere Informationen erhalten Sie unter AWS Identity and Access Management und Zugreifen auf eine Amazon MWAA-Umgebung.

Apache Airflow-Benutzerrechte — Apache Airflow ist nicht mandantenfähig. DAG-Autoren können DAGs schreiben, die die Apache Airflow-Benutzerrechte ändern und mit der zugrunde liegenden Metadatendatenbank interagieren. Wir empfehlen, separate Umgebungen für separate Teams zu verwenden, die über DAG-Schreibzugriff verfügen. Weitere Informationen finden Sie unter Bewährte Sicherheitsmethoden in Apache Airflow.

Zugriffsmodus für Webserver — Wählen Sie PUBLIC_ONLY oder PRIVATE_ONLY für den Zugriff auf die Apache Airflow-Benutzeroberfläche. Dies ist eine Sicherheitsentscheidung, die bestimmt, ob der Webserver-Endpunkt vom Internet aus erreichbar ist. Weitere Informationen finden Sie unter Sicherheit in Ihrer VPC auf Amazon MWAA.

Netzwerkkonfiguration — Ihre Amazon-VPC, Subnetze, Sicherheitsgruppen und Netzwerk-ACLs. Dazu gehören die Regeln für eingehenden und ausgehenden Datenverkehr, die den Datenverkehr auf Ihren NAT-Gateways leiten. Wenn Sie sich dafür entscheiden, Ihre eigenen Amazon VPC-Endpunkte zu verwalten, sind Sie für die Erstellung dieser Endpunkte verantwortlich. Weitere Informationen erhalten Sie unter Sicherheit in Ihrer VPC auf Amazon MWAA und Verwaltung Ihrer eigenen Amazon VPC-Endpunkte auf Amazon MWAA.

Wahl des Verschlüsselungsschlüssels — Ob Sie einen AWS eigenen KMS-Schlüssel oder einen vom Kunden verwalteten KMS-Schlüssel verwenden möchten. Wenn Sie einen vom Kunden verwalteten KMS-Schlüssel verwenden, müssen Sie die erforderlichen Richtlinienanweisungen an den Schlüssel anhängen. Weitere Informationen finden Sie unter Datenschutz in von Amazon verwalteten Workflows für Apache Airflow.

Geheimnisse und Verbindungen — Die Anmeldeinformationen, die Ihre Workflows verwenden. Wir empfehlen, Geheimnisse in Secrets Manager zu speichern. Weitere Informationen finden Sie unter Konfiguration einer Apache Airflow Airflow-Verbindung mit einem AWS Secrets Manager Secret.

Apache Airflow-Konfigurationsoptionen — Die Konfigurationsoptionen, die Sie in Ihrer Umgebung überschreiben. Weitere Informationen finden Sie unter Verwenden der Apache Airflow-Konfigurationsoptionen auf Amazon MWAA.

AWS Modell der geteilten Verantwortung Modell der

Gemeinsame Verantwortung im AWS Well-Architected Rahmen

Bewährte Methoden für Amazon Managed Workflows für Apache Airflow

Leistungsoptimierung für Apache Airflow auf Amazon MWAA

Überwachung von Dashboards und Alarmen auf Amazon MWAA

Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA

Bewährte Sicherheitsmethoden bei Amazon MWAA