View a markdown version of this page

Erstellen der erforderlichen VPC-Serviceendpunkte in einer Amazon VPC mit privatem Routing - Von Amazon verwaltete Workflows für Apache Airflow
PreisgestaltungPrivates Netzwerk und privates Routing(Erforderlich) VPC-EndpunkteAnhängen der erforderlichen VPC-Endpunkte(Optional) Aktivieren Sie private IP-Adressen für Ihren Amazon S3-VPC-Schnittstellenendpunkt

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen der erforderlichen VPC-Serviceendpunkte in einer Amazon VPC mit privatem Routing

Ein bestehendes Amazon VPC-Netzwerk ohne Internetzugang benötigt zusätzliche VPC-Serviceendpunkte (AWS PrivateLink), um Apache Airflow in Amazon Managed Workflows for Apache Airflow verwenden zu können. Auf dieser Seite werden die VPC-Endpunkte beschrieben, die für die von Amazon MWAA verwendeten AWS Dienste erforderlich sind, die VPC-Endpunkte, die für Apache Airflow erforderlich sind, und wie die VPC-Endpunkte erstellt und an eine bestehende Amazon VPC mit privatem Routing angeschlossen werden.

Anmerkung

Wenn Sie sowohl öffentlichen als auch privaten Netzwerkzugriff wählen, wird der VPC-Endpunkt für den Webserver automatisch von Amazon MWAA erstellt und verwaltet. Sie müssen keine VPC-Endpunkte für die Apache Airflow-Webserver-Konnektivität erstellen. Wenn Ihre Amazon VPC jedoch keinen Internetzugang hat, benötigen Sie dennoch VPC-Endpunkte für andere AWS Dienste (wie Amazon S3, CloudWatch Logs, SQS und KMS), wie auf dieser Seite beschrieben.

Preisgestaltung

Privates Netzwerk und privates Routing

Dieses Bild zeigt die Architektur für eine Amazon MWAA-Umgebung mit privatem Netzwerkzugriff.

Der Zugriffsmodus für private Netzwerke beschränkt den Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde.

Wenn Sie eine Umgebung mit privatem Netzwerkzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in einem Python-Wheel-Archiv (.whl) verpacken und dann in Ihrem darauf verweisen. .whl requirements.txt Anweisungen zum Verpacken und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.

Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

Dieses Bild zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

  • Privates Routing. Eine Amazon-VPC ohne Internetzugang begrenzt den Netzwerkverkehr innerhalb der VPC. Auf dieser Seite wird davon ausgegangen, dass Ihre Amazon VPC keinen Internetzugang hat und VPC-Endpunkte für jeden von Ihrer Umgebung verwendeten AWS Service sowie VPC-Endpunkte für Apache Airflow in derselben AWS-Region Amazon VPC wie Ihre Amazon MWAA-Umgebung benötigt.

(Erforderlich) VPC-Endpunkte

Im folgenden Abschnitt werden die erforderlichen VPC-Endpunkte aufgeführt, die für eine Amazon VPC ohne Internetzugang benötigt werden. Darin sind die VPC-Endpunkte für jeden von Amazon MWAA verwendeten AWS Service aufgeführt, einschließlich der VPC-Endpunkte, die für Apache Airflow benötigt werden.

com.amazonaws.us-east-1.s3
com.amazonaws.us-east-1.monitoring
com.amazonaws.us-east-1.logs
com.amazonaws.us-east-1.sqs
com.amazonaws.us-east-1.kms
Anmerkung

Wenn Sie Transit Gateway oder ein anderes Routing verwenden, das nicht direkt zu den AWS API-Endpunkten führt, empfehlen wir Ihnen, Ihre Amazon MWAA-Subnetze für AWS PrivateLink die folgenden Dienste hinzuzufügen:

  • Amazon S3

  • Amazon SQS

  • CloudWatch Protokolle

  • CloudWatch Metriken

  • AWS KMS (falls zutreffend)

Dadurch wird sichergestellt, dass Ihre Amazon MWAA-Umgebung sicher und effizient mit diesen Diensten kommunizieren kann, ohne den Datenverkehr über das öffentliche Internet zu leiten, wodurch Sicherheit und Leistung verbessert werden.

Anhängen der erforderlichen VPC-Endpunkte

In diesem Abschnitt werden die Schritte zum Anhängen der erforderlichen VPC-Endpunkte für eine Amazon VPC mit privatem Routing beschrieben.

VPC-Endpunkte sind erforderlich für AWS service

Im folgenden Abschnitt werden die Schritte zum Anhängen der VPC-Endpunkte für die von einer Umgebung verwendeten AWS Dienste an eine vorhandene Amazon VPC beschrieben.

Um VPC-Endpunkte an Ihre privaten Subnetze anzuhängen

  1. Öffnen Sie die Seite „Endpoints“ auf der Amazon VPC-Konsole.

  2. Wählen Sie Ihre. AWS-Region

  3. Erstellen Sie den Endpunkt für Amazon S3:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .s3 und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wir empfehlen, den für den Gateway-Typ aufgeführten Dienstendpunkt auszuwählen.

      Beispiel: com.amazonaws.us-west-2.s3 amazon Gateway

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Sie die Routing-Tabelle für Ihre beiden privaten Subnetze auswählen.

    6. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    7. Wählen Sie Endpunkt erstellen aus.

  4. Erstellen Sie den Endpunkt für CloudWatch Logs:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .logs und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  5. Erstellen Sie den Endpunkt für die CloudWatch Überwachung:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .monitoring und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  6. Erstellen Sie den Endpunkt für Amazon SQS:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .sqs und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  7. Erstellen Sie den Endpunkt für AWS KMS:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwort suchen den Text: ein .kms und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

VPC-Endpunkte sind für Apache Airflow erforderlich

Im folgenden Abschnitt werden die Schritte zum Anhängen der VPC-Endpunkte für Apache Airflow an eine bestehende Amazon VPC beschrieben.

Um VPC-Endpunkte an Ihre privaten Subnetze anzuhängen

  1. Öffnen Sie die Seite „Endpoints“ auf der Amazon VPC-Konsole.

  2. Wählen Sie Ihre. AWS-Region

  3. Erstellen Sie den Endpunkt für die Apache Airflow API:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .airflow.api und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  4. Erstellen Sie den ersten Endpunkt für die Apache Airflow-Umgebung:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .airflow.env und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

  5. Erstellen Sie den zweiten Endpunkt für Apache Airflow-Operationen:

    1. Klicken Sie auf Endpunkt erstellen.

    2. Geben Sie in das Textfeld Nach Attributen filtern oder nach Schlüsselwörtern suchen den Text: ein .airflow.ops und drücken Sie dann die Eingabetaste auf Ihrer Tastatur.

    3. Wählen Sie den Service-Endpunkt aus.

    4. Wählen Sie unter VPC die Amazon VPC Ihrer Umgebung aus.

    5. Stellen Sie sicher, dass Ihre beiden privaten Subnetze in verschiedenen Availability Zones ausgewählt sind und dass DNS-Name aktivieren aktiviert ist.

    6. Wählen Sie die Amazon VPC-Sicherheitsgruppen Ihrer Umgebung aus.

    7. Wählen Sie unter Richtlinie die Option Vollzugriff aus.

    8. Wählen Sie Endpunkt erstellen aus.

(Optional) Aktivieren Sie private IP-Adressen für Ihren Amazon S3-VPC-Schnittstellenendpunkt

Amazon S3-Schnittstellenendpunkte unterstützen kein privates DNS. Die S3-Endpunktanfragen werden immer noch in eine öffentliche IP-Adresse aufgelöst. Um die S3-Adresse in eine private IP-Adresse aufzulösen, müssen Sie in Route 53 eine private gehostete Zone für den regionalen S3-Endpunkt hinzufügen.

Verwenden von Route 53

In diesem Abschnitt werden die Schritte zum Aktivieren privater IP-Adressen für einen S3-Schnittstellenendpunkt mithilfe von Route 53 beschrieben.

  1. Erstellen Sie eine private gehostete Zone für Ihren Amazon S3-VPC-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com) und verknüpfen Sie sie mit Ihrer Amazon VPC.

  2. Erstellen Sie einen ALIAS A-Datensatz für Ihren Amazon S3-VPC-Schnittstellenendpunkt (z. B. s3.eu-west-1.amazonaws.com), der in den DNS-Namen Ihres VPC-Schnittstellenendpunkts aufgelöst wird.

  3. Erstellen Sie einen ALIAS A-Platzhalterdatensatz für Ihren Amazon S3-Schnittstellenendpunkt (z. B.. *. s3.eu-west-1.amazonaws.com), der in den DNS-Namen des VPC-Schnittstellenendpunkts aufgelöst wird.

VPCs mit benutzerdefiniertem DNS

Wenn Ihre Amazon VPC benutzerdefiniertes DNS-Routing verwendet, müssen Sie die Änderungen in Ihrem DNS-Resolver vornehmen (nicht Route 53, normalerweise eine EC2-Instance, auf der ein DNS-Server ausgeführt wird), indem Sie einen CNAME-Eintrag erstellen. Beispiel:

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com