Erstellung der erforderlichen VPC-Serviceendpunkte in einer Amazon VPC mit privatem Routing - Amazon Managed Workflows für Apache Airflow
PreisgestaltungPrivates Netzwerk und privates Routing(Erforderlich) VPC-EndpunkteAnhängen der erforderlichen VPC-Endpoints(Optional) Aktivieren Sie private IP-Adressen für Ihren Amazon S3 S3-VPC-Schnittstellenendpunkt

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellung der erforderlichen VPC-Serviceendpunkte in einer Amazon VPC mit privatem Routing

Ein vorhandenes Amazon VPC-Netzwerk ohne Internetzugang benötigt zusätzliche VPC-Serviceendpunkte (AWS PrivateLink), um Apache Airflow auf Amazon Managed Workflows for Apache Airflow zu verwenden. Auf dieser Seite werden die VPC-Endpunkte beschrieben, die für die von Amazon MWAA verwendeten AWS Services erforderlich sind, die VPC-Endpunkte, die für Apache Airflow erforderlich sind, und wie die VPC-Endpunkte erstellt und an eine bestehende Amazon VPC mit privatem Routing angehängt werden.

Preisgestaltung

Privates Netzwerk und privates Routing

Dieses Bild zeigt die Architektur für eine Amazon MWAA-Umgebung mit einem privaten Webserver.

Der private Netzwerkzugriffsmodus beschränkt den Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde.

Wenn Sie eine Umgebung mit privatem Webserverzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in einem Python-Radarchiv (.whl) verpacken und dann auf das .whl in Ihrem verweisenrequirements.txt. Anweisungen zum Paketieren und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.

Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

Dieses Bild zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

  • Privates Routing. Eine Amazon-VPC ohne Internetzugang schränkt den Netzwerkverkehr innerhalb der VPC ein. Auf dieser Seite wird davon ausgegangen, dass Ihre Amazon VPC keinen Internetzugang hat und VPC-Endpunkte für jeden von Ihrer Umgebung genutzten AWS Service sowie VPC-Endpunkte für Apache Airflow in derselben AWS Region und Amazon VPC wie Ihre Amazon MWAA-Umgebung benötigt.

(Erforderlich) VPC-Endpunkte

Der folgende Abschnitt zeigt die erforderlichen VPC-Endpunkte, die für eine Amazon-VPC ohne Internetzugang benötigt werden. Es listet die VPC-Endpunkte für jeden AWS Service auf, der von Amazon MWAA verwendet wird, einschließlich der VPC-Endpunkte, die für Apache Airflow benötigt werden. 

com.amazonaws.YOUR_REGION.s3
com.amazonaws.YOUR_REGION.monitoring
com.amazonaws.YOUR_REGION.ecr.dkr
com.amazonaws.YOUR_REGION.ecr.api
com.amazonaws.YOUR_REGION.logs
com.amazonaws.YOUR_REGION.sqs
com.amazonaws.YOUR_REGION.kms
com.amazonaws.YOUR_REGION.airflow.api
com.amazonaws.YOUR_REGION.airflow.env
com.amazonaws.YOUR_REGION.airflow.ops

Anhängen der erforderlichen VPC-Endpoints

In diesem Abschnitt werden die Schritte zum Anhängen der erforderlichen VPC-Endpunkte für eine Amazon-VPC mit privatem Routing beschrieben.

Für Dienste erforderliche VPC-Endpunkte AWS

Der folgende Abschnitt zeigt die Schritte zum Anhängen der VPC-Endpunkte für die von einer Umgebung verwendeten AWS Services an eine bestehende Amazon VPC.

So fügen Sie VPC-Endpunkte an Ihre privaten Subnetze an

  1. Öffnen Sie die Seite Endpoints in der Amazon VPC-Konsole.

  2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

  3. Erstellen Sie den Endpunkt für Amazon S3:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .s3 und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wir empfehlen, den für den Gateway-Typ aufgelisteten Dienstendpunkt auszuwählen.

      Beispiel: com.amazonaws.us-west-2.s3 amazon Gateway

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass privates DNS aktiviert ist, indem Sie DNS-Name aktivieren auswählen.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  4. Erstellen Sie den ersten Endpunkt für Amazon ECR:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .ecr.dkr und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  5. Erstellen Sie den zweiten Endpunkt für Amazon ECR:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .ecr.api und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  6. Erstellen Sie den Endpunkt für CloudWatch Logs:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen: ein .logs und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  7. Erstellen Sie den Endpunkt für die CloudWatch Überwachung:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen: ein .monitoring und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  8. Erstellen Sie den Endpunkt für Amazon SQS:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .sqs und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  9. Erstellen Sie den Endpunkt für AWS KMS:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen: ein .kms und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

Für Apache Airflow sind VPC-Endpunkte erforderlich

Der folgende Abschnitt zeigt die Schritte zum Anhängen der VPC-Endpunkte für Apache Airflow an eine bestehende Amazon VPC.

So fügen Sie VPC-Endpunkte an Ihre privaten Subnetze an

  1. Öffnen Sie die Seite Endpoints in der Amazon VPC-Konsole.

  2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

  3. Erstellen Sie den Endpunkt für die Apache Airflow API:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .airflow.api und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  4. Erstellen Sie den ersten Endpunkt für die Apache Airflow-Umgebung:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .airflow.env und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  5. Erstellen Sie den zweiten Endpunkt für Apache Airflow-Operationen:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen: ein .airflow.ops und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Dienstendpunkt aus.

    4. Wählen Sie die Amazon VPC Ihrer Umgebung in VPC.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass die Option DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppe (n) Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

(Optional) Aktivieren Sie private IP-Adressen für Ihren Amazon S3 S3-VPC-Schnittstellenendpunkt

Amazon S3 Interface-Endpunkte unterstützen kein privates DNS. Die S3-Endpunktanfragen werden immer noch zu einer öffentlichen IP-Adresse aufgelöst. Um die S3-Adresse in eine private IP-Adresse aufzulösen, müssen Sie in Route 53 eine private gehostete Zone für den regionalen S3-Endpunkt hinzufügen.

Route 53 verwenden

In diesem Abschnitt werden die Schritte zum Aktivieren privater IP-Adressen für einen S3-Interface-Endpunkt mithilfe von Route 53 beschrieben.

  1. Erstellen Sie eine private gehostete Zone für Ihren Amazon S3 S3-VPC-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com) und verknüpfen Sie sie mit Ihrer Amazon VPC.

  2. Erstellen Sie einen ALIAS A-Eintrag für Ihren Amazon S3 S3-VPC-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com), der in den DNS-Namen Ihres VPC-Schnittstellen-Endpunkts aufgelöst wird.

  3. Erstellen Sie einen ALIAS. Ein Platzhaltereintrag für Ihren Amazon S3 S3-Schnittstellenendpunkt (z. B. *. s3.eu-west-1.amazonaws.com), der in den DNS-Namen des VPC-Schnittstellenendpunkts aufgelöst wird.

VPCs mit benutzerdefiniertem DNS

Wenn Ihre Amazon VPC benutzerdefiniertes DNS-Routing verwendet, müssen Sie die Änderungen in Ihrem DNS-Resolver (nicht Route 53, normalerweise eine EC2-Instance, auf der ein DNS-Server läuft) vornehmen, indem Sie einen CNAME-Eintrag erstellen. Beispielsweise:

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com