Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Apache-Airflow-Zugriffsmodi
Die Amazon Managed Workflows for Apache Airflow-Konsole enthält integrierte Optionen zur Konfiguration von privatem, öffentlichem oder sowohl öffentlichem als auch privatem Routing zum Apache Airflow-Webserver in Ihrer Umgebung. In diesem Handbuch werden die Zugriffsmodi beschrieben, die für den Apache Airflow-Webserver in Ihrer Amazon Managed Workflows for Apache Airflow-Umgebung verfügbar sind, sowie die zusätzlichen Ressourcen, die Sie in Ihrer Amazon VPC konfigurieren müssen, wenn Sie die Option für ein privates Netzwerk wählen.
Apache-Airflow-Zugriffsmodi
Sie können privates, öffentliches oder sowohl öffentliches als auch privates Routing für Ihren Apache Airflow-Webserver wählen. Um privates Routing zu aktivieren, wählen Sie Privates Netzwerk aus. Dadurch wird der Benutzerzugriff auf einen Apache Airflow-Webserver innerhalb einer Amazon VPC eingeschränkt. Um öffentliches Routing zu aktivieren, wählen Sie Öffentliches Netzwerk aus. Damit können Benutzer über das Internet auf den Apache-Airflow-Webserver zugreifen. Um sowohl öffentliches als auch privates Routing zu aktivieren, wählen Sie Sowohl öffentlicher als auch privater Netzwerkzugriff. Auf diese Weise können Benutzer über das Internet auf den Apache Airflow-Webserver zugreifen, während Mitarbeiter über einen privaten VPC-Endpunkt mit dem Webserver kommunizieren.
Öffentliches Netzwerk
Das folgende Architekturdiagramm zeigt eine Amazon MWAA-Umgebung mit einem öffentlichen Webserver.
Im öffentlichen Netzwerkzugriffsmodus können Benutzer, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde, über das Internet auf die Apache Airflow-Benutzeroberfläche zugreifen.
Wichtig
Wenn Ihre Umgebung Apache Airflow Version 3 oder höher mit dem öffentlichen Netzwerkzugriffsmodus verwendet, müssen Mitarbeiter den Webserver über das Internet erreichen können, um den Aufgabenstatus zu kommunizieren. Wenn die Subnetze, die Ihre Worker hosten, keinen Internetzugang haben (z. B. private Subnetze ohne NAT-Gateway), schlagen DAG-Aufgaben fehl. Um dieses Problem zu beheben, führen Sie ein Upgrade auf Apache Airflow Version 3.2.1 oder höher durch und wechseln Sie in den öffentlichen und privaten Netzwerkzugriffsmodus, der die Kommunikation der Mitarbeiter über einen privaten VPC-Endpunkt leitet.
Die folgende Abbildung zeigt, wo Sie die Option Öffentliches Netzwerk auf der Amazon MWAA-Konsole finden.
Privates Netzwerk
Das folgende Architekturdiagramm zeigt eine Amazon MWAA-Umgebung mit einem privaten Webserver.
Der Zugriffsmodus für private Netzwerke beschränkt den Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde.
Wenn Sie eine Umgebung mit privatem Webserverzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in einem Python-Wheel-Archiv (.whl) verpacken und dann in Ihrem darauf verweisen. .whl requirements.txt Anweisungen zum Paketieren und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.
Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.
Sowohl öffentlicher als auch privater Netzwerkzugriff
Verfügbar für Apache Airflow Version 3.2.1 und höher. In Apache Airflow Version 3 und höher teilen Worker dem Webserver den Aufgabenstatus über die Task-API mit. Wenn Ihre Amazon VPC keinen Internetzugang hat, können Mitarbeiter keinen öffentlichen Webserver erreichen, sodass DAG-Aufgaben fehlschlagen. In diesem Modus wird sowohl ein öffentlicher Netzwerk-Load-Balancer für den Browserzugriff auf die Apache Airflow-Benutzeroberfläche als auch ein privater VPC-Endpunkt für die Kommunikation zwischen Mitarbeitern und Webserver erstellt, sodass Mitarbeiter den Webserver ohne Internetzugang erreichen können. Sehen Sie sich für jede Komponente die obigen Diagramme zur öffentlichen und privaten Netzwerkarchitektur an.
Anmerkung
In diesem Modus erfolgt der Browserzugriff auf die Apache Airflow-Benutzeroberfläche über die öffentliche URL. Der private VPC-Endpunkt wird von Mitarbeitern für die interne Kommunikation verwendet und ist nicht für den Browserzugriff vorgesehen.
Übersicht über die Zugriffsmodi
In diesem Abschnitt werden die VPC-Endpunkte (AWS PrivateLink) beschrieben, die in Ihrer Amazon VPC erstellt werden, wenn Sie den Zugriffsmodus Öffentliches Netzwerk, Privates Netzwerk oder Sowohl öffentliches als auch privates Netzwerk wählen.
Öffentlicher Netzwerkzugriffsmodus
Wenn Sie den öffentlichen Netzwerkzugriffsmodus für Ihren Apache Airflow-Webserver gewählt haben, wird der Netzwerkverkehr öffentlich über das Internet geleitet.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Der Endpunkt wird in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und ist unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies wurde entwickelt, um die bewährte Methode zu unterstützen, eine einzelne IP von jeder Availability Zone der Amazon VPC zu binden.
Modus für privaten Netzwerkzugriff
Wenn Sie den privaten Netzwerkzugriffsmodus für Ihren Apache Airflow-Webserver gewählt haben, wird der Netzwerkverkehr privat innerhalb Ihrer Amazon VPC weitergeleitet.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihren Apache Airflow-Webserver und einen Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Die Endpunkte werden in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und sind unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies wurde entwickelt, um die bewährte Methode zu unterstützen, eine einzelne IP von jeder Availability Zone der Amazon VPC zu binden.
Sowohl öffentlicher als auch privater Netzwerkzugriffsmodus
Wenn Sie für Ihren Apache Airflow-Webserver den Modus Sowohl öffentlicher als auch privater Netzwerkzugriff gewählt haben, wird der Netzwerkverkehr zur Apache Airflow-Benutzeroberfläche öffentlich über das Internet geleitet, während die Kommunikation zwischen Worker und Webserver privat innerhalb Ihrer Amazon VPC geleitet wird.
-
Amazon MWAA erstellt einen VPC-Schnittstellenendpunkt für Ihren Apache Airflow-Webserver (für Worker-Konnektivität) und einen Schnittstellenendpunkt für Ihre Amazon Aurora PostgreSQL-Metadatendatenbank. Die Endpunkte werden in den Availability Zones erstellt, die Ihren privaten Subnetzen zugeordnet sind, und sind unabhängig von anderen. AWS-Konten
-
Amazon MWAA bindet dann eine IP-Adresse aus Ihren privaten Subnetzen an die Schnittstellenendpunkte. Dies wurde entwickelt, um die bewährte Methode zu unterstützen, eine einzelne IP von jeder Availability Zone der Amazon VPC zu binden.
-
Auf die Apache Airflow-Benutzeroberfläche kann über einen öffentlichen Netzwerk-Load-Balancer über das Internet zugegriffen werden. Benutzer greifen auf die Benutzeroberfläche auf die gleiche Weise zu wie im öffentlichen Netzwerkzugriffsmodus.
Weitere Informationen finden Sie unterBeispielhafte Anwendungsfälle für einen Amazon VPC- und Apache Airflow-Zugriffsmodus.
Einrichtung der Zugriffsmodi
Im folgenden Abschnitt werden die zusätzlichen Einstellungen und Konfigurationen beschrieben, die Sie je nach dem Apache Airflow-Zugriffsmodus benötigen, den Sie für Ihre Umgebung ausgewählt haben.
Einrichtung für ein öffentliches Netzwerk
Wenn Sie die Option Öffentliches Netzwerk für Ihren Apache Airflow-Webserver wählen, können Sie die Apache Airflow-Benutzeroberfläche verwenden, nachdem Sie Ihre Umgebung erstellt haben.
Sie müssen die folgenden Schritte ausführen, um den Zugriff für Ihre Benutzer zu konfigurieren und Ihrer Umgebung die Erlaubnis zu geben, andere Dienste zu nutzen. AWS
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt die Erlaubnis, andere AWS Dienste zu nutzen. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), Logs und Amazon EC2 zu verwenden. CloudWatch
Sie können die Berechtigung zur Verwendung zusätzlicher Aktionen für diese Dienste oder zur Nutzung anderer AWS Dienste hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
Einrichtung für ein privates Netzwerk
Wenn Sie die Option Privates Netzwerk für Ihren Apache Airflow-Webserver wählen, müssen Sie den Zugriff für Ihre Benutzer konfigurieren, Ihrer Umgebung die Erlaubnis geben, andere AWS Dienste zu nutzen, und einen Mechanismus einrichten, um von Ihrem Computer aus auf die Ressourcen in Ihrer Amazon VPC zuzugreifen.
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt die Erlaubnis, andere AWS Dienste zu nutzen. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), Logs und Amazon EC2 zu verwenden. CloudWatch
Sie können die Berechtigung zur Verwendung zusätzlicher Aktionen für diese Dienste oder zur Nutzung anderer AWS Dienste hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
-
Netzwerkzugriff aktivieren. Sie müssen in Ihrer Amazon VPC einen Mechanismus erstellen, um eine Verbindung zum VPC-Endpunkt (AWS PrivateLink) für Ihren Apache Airflow-Webserver herzustellen. Zum Beispiel, indem Sie einen VPN-Tunnel von Ihrem Computer aus mit einem erstellen. AWS Client VPN
Einrichtung für öffentlichen und privaten Netzwerkzugriff
Wenn Sie die Option Sowohl öffentlicher als auch privater Netzwerkzugriff für Ihren Apache Airflow-Webserver wählen, können Sie die Apache Airflow-Benutzeroberfläche verwenden, nachdem Sie Ihre Umgebung erstellt haben. Für den Browserzugriff ist kein VPN- oder VPC-Endpunktzugriffsmechanismus erforderlich. Die Apache Airflow-Benutzeroberfläche ist über das Internet zugänglich. Mitarbeiter stellen über den privaten VPC-Endpunkt automatisch eine Verbindung zum Webserver her.
Sie müssen die folgenden Schritte ausführen, um den Zugriff für Ihre Benutzer zu konfigurieren und Ihrer Umgebung die Erlaubnis zu geben, andere AWS Dienste zu nutzen.
-
Fügen Sie Berechtigungen hinzu. Amazon MWAA benötigt die Erlaubnis, andere AWS Dienste zu nutzen. Wenn Sie eine Umgebung erstellen, erstellt Amazon MWAA eine serviceverknüpfte Rolle, die es ihr ermöglicht, bestimmte IAM-Aktionen für Amazon Elastic Container Registry (Amazon ECR), Logs und Amazon EC2 zu verwenden. CloudWatch
Sie können die Berechtigung zur Verwendung zusätzlicher Aktionen für diese Dienste oder zur Nutzung anderer AWS Dienste hinzufügen, indem Sie Ihrer Ausführungsrolle Berechtigungen hinzufügen. Weitere Informationen finden Sie unterAmazon MWAA-Ausführungsrolle.
-
Erstellen Sie Benutzerrichtlinien. Möglicherweise müssen Sie mehrere IAM-Richtlinien für Ihre Benutzer erstellen, um den Zugriff auf Ihre Umgebung und die Apache Airflow-Benutzeroberfläche zu konfigurieren. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung
Zugriff auf den VPC-Endpunkt für Ihren Apache Airflow-Webserver (privater Netzwerkzugriff)
Wenn Sie die Option Privates Netzwerk gewählt haben, müssen Sie in Ihrer Amazon VPC einen Mechanismus für den Zugriff auf den VPC-Endpunkt (AWS PrivateLink) für Ihren Apache Airflow-Webserver einrichten. Wir empfehlen, für diese Ressourcen dieselbe Amazon VPC, dieselbe VPC-Sicherheitsgruppe und dieselben privaten Subnetze wie Ihre Amazon MWAA-Umgebung zu verwenden.
Wenn Sie sowohl öffentlichen als auch privaten Netzwerkzugriff ausgewählt haben, müssen Sie keinen Mechanismus für den Zugriff auf die Apache Airflow-Benutzeroberfläche erstellen. Es ist über das Internet zugänglich. Der private VPC-Endpunkt wird von Mitarbeitern automatisch für die interne Kommunikation verwendet.
Weitere Informationen finden Sie unter Verwaltung des Zugriffs für VPC-Endpoints.
