Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ein vorhandenes VPC Amazon-Netzwerk ohne Internetzugang benötigt zusätzliche VPC Service-Endpunkte (AWS PrivateLink), um Apache Airflow auf Amazon Managed Workflows for Apache Airflow zu verwenden. Auf dieser Seite werden die VPC Endpunkte beschrieben, die für die von Amazon verwendeten AWS Dienste erforderlich sindMWAA, die VPC Endpunkte, die für Apache Airflow erforderlich sind, und wie die VPC Endpunkte erstellt und an ein vorhandenes Amazon VPC mit privatem Routing angehängt werden.
Inhalt
Preisgestaltung
Privates Netzwerk und privates Routing
Der private Netzwerkzugriffsmodus beschränkt den Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrem Amazon VPC, denen Zugriff auf die IAMRichtlinie für Ihre Umgebung gewährt wurde.
Wenn Sie eine Umgebung mit privatem Webserverzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in einem Python-Radarchiv (.whl
) verpacken und dann auf das .whl
in Ihrem verweisenrequirements.txt
. Anweisungen zum Paketieren und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.
Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der MWAA Amazon-Konsole finden.
-
Privates Routing. Ein Amazon VPC ohne Internetzugang begrenzt den Netzwerkverkehr innerhalb derVPC. Auf dieser Seite wird davon ausgegangen, dass Ihr Amazon VPC keinen Internetzugang hat und VPC Endpunkte für jeden AWS Service benötigt, der von Ihrer Umgebung genutzt wird, sowie VPC Endpunkte für Apache Airflow in derselben AWS Region und Amazon VPC wie Ihre Amazon-Umgebung. MWAA
(Erforderlich) Endgeräte VPC
Der folgende Abschnitt zeigt die erforderlichen VPC Endpunkte, die für einen Amazon VPC ohne Internetzugang benötigt werden. Es listet die VPC Endpunkte für jeden von Amazon verwendeten AWS Service aufMWAA, einschließlich der VPC Endpunkte, die für Apache Airflow benötigt werden.
com.amazonaws.
YOUR_REGION
.s3 com.amazonaws.YOUR_REGION
.monitoring com.amazonaws.YOUR_REGION
.logs com.amazonaws.YOUR_REGION
.sqs com.amazonaws.YOUR_REGION
.kms
Anmerkung
Wenn Sie Transit Gateway oder ein anderes Routing verwenden, das nicht direkt zu den AWS API Endpunkten führt, empfehlen wir Ihnen, Ihre MWAA privaten Amazon-Subnetze für die folgenden Dienste hinzuzufügen AWS PrivateLink :
-
Amazon S3
-
Amazon SQS
-
CloudWatch Logs
-
CloudWatch Metriken
-
AWS KMS (falls zutreffend)
Dadurch wird sichergestellt, dass Ihre MWAA Amazon-Umgebung sicher und effizient mit diesen Diensten kommunizieren kann, ohne den Datenverkehr über das öffentliche Internet weiterzuleiten, wodurch Sicherheit und Leistung verbessert werden.
Anhängen der erforderlichen Endpunkte VPC
In diesem Abschnitt werden die Schritte zum Anhängen der erforderlichen VPC Endpunkte für ein Amazon VPC mit privatem Routing beschrieben.
VPCEndpunkte, die für Dienste erforderlich sind AWS
Der folgende Abschnitt zeigt die Schritte zum Anhängen der VPC Endpunkte für die von einer Umgebung genutzten AWS Dienste an ein bestehendes AmazonVPC.
Um VPC Endpunkte an Ihre privaten Subnetze anzuhängen
-
Öffnen Sie die Seite Endpoints
auf der VPC Amazon-Konsole. -
Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.
-
Erstellen Sie den Endpunkt für Amazon S3:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.s3
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wir empfehlen, den für den Gateway-Typ aufgelisteten Dienstendpunkt auszuwählen.
Beispiel:
com.amazonaws.us-west-2.s3 amazon Gateway
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass dieses private Subnetz aktiviert DNS ist, indem Sie „DNSName aktivieren“ auswählen.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den Endpunkt für CloudWatch Logs:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.logs
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den Endpunkt für die CloudWatch Überwachung:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen: ein
.monitoring
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den Endpunkt für AmazonSQS:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.sqs
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den Endpunkt für AWS KMS:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen: ein
.kms
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
VPCFür Apache Airflow sind Endpunkte erforderlich
Der folgende Abschnitt zeigt die Schritte zum Anhängen der VPC Endpunkte für Apache Airflow an ein bestehendes Amazon. VPC
Um VPC Endpunkte an Ihre privaten Subnetze anzuhängen
-
Öffnen Sie die Seite Endpoints
auf der VPC Amazon-Konsole. -
Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.
-
Erstellen Sie den Endpunkt für den Apache API Airflow:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.airflow.api
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den ersten Endpunkt für die Apache Airflow-Umgebung:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.airflow.env
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
-
Erstellen Sie den zweiten Endpunkt für Apache Airflow-Operationen:
-
Klicken Sie auf Endpunkt erstellen.
-
Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein
.airflow.ops
und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. -
Wählen Sie den Dienstendpunkt aus.
-
Wählen Sie das Amazon VPC in Ihrer Umgebung VPC.
-
Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNSName aktivieren aktiviert ist.
-
Wählen Sie die VPC Amazon-Sicherheitsgruppe (n) Ihrer Umgebung aus.
-
Wählen Sie unter Richtlinie die Option Vollzugriff aus.
-
Wählen Sie Endpunkt erstellen aus.
-
(Optional) Aktivieren Sie private IP-Adressen für Ihren Amazon S3 VPC S3-Schnittstellenendpunkt
Amazon S3 Interface-Endpunkte unterstützen private DNS Endgeräte nicht. Die S3-Endpunktanfragen werden immer noch zu einer öffentlichen IP-Adresse aufgelöst. Um die S3-Adresse in eine private IP-Adresse aufzulösen, müssen Sie in Route 53 eine private gehostete Zone für den regionalen S3-Endpunkt hinzufügen.
Route 53 verwenden
In diesem Abschnitt werden die Schritte zum Aktivieren privater IP-Adressen für einen S3-Interface-Endpunkt mithilfe von Route 53 beschrieben.
-
Erstellen Sie eine private gehostete Zone für Ihren Amazon S3 VPC S3-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com) und verknüpfen Sie sie mit Ihrem AmazonVPC.
-
Erstellen Sie ALIAS einen A-Eintrag für Ihren Amazon S3 VPC S3-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com), der in Ihren VPC DNS Schnittstellen-Endpunktnamen aufgelöst wird.
-
Erstellen Sie ALIAS einen A-Platzhaltereintrag für Ihren Amazon S3 S3-Schnittstellenendpunkt (z. B. *. s3.eu-west-1.amazonaws.com), der in den Namen des VPC Schnittstellenendpunkts DNS aufgelöst wird.
VPCsmit benutzerdefiniertem DNS
Wenn Ihr Amazon benutzerdefiniertes DNS Routing VPC verwendet, müssen Sie die Änderungen in Ihrem DNS Resolver (nicht Route 53, normalerweise eine EC2 Instance, auf der ein DNS Server läuft) vornehmen, indem Sie einen CNAME Datensatz erstellen. Beispielsweise:
Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value: *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com