View a markdown version of this page

Tutorial: Konfiguration des privaten Netzwerkzugriffs mit einem Linux Bastion Host - Von Amazon verwaltete Workflows für Apache Airflow
Privates NetzwerkAnwendungsfälleBevor Sie beginnenZieleSchritt 1: Erstellen Sie die Bastion-InstanzSchritt 2: Erstellen Sie den SSH-TunnelSchritt drei: Konfigurieren Sie die Bastion-Sicherheitsgruppe als Regel für eingehenden DatenverkehrSchritt 4: Kopieren Sie die Apache Airflow-URLFünfter Schritt: Proxy-Einstellungen konfigurierenSchritt 6: Öffnen Sie die Apache Airflow-BenutzeroberflächeAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tutorial: Konfiguration des privaten Netzwerkzugriffs mit einem Linux Bastion Host

Dieses Tutorial führt Sie durch die Schritte zum Erstellen eines SSH-Tunnels von Ihrem Computer zum Apache Airflow-Webserver für Ihre Amazon Managed Workflows for Apache Airflow-Umgebung. Es wird davon ausgegangen, dass Sie bereits eine Amazon MWAA-Umgebung erstellt haben. Nach der Einrichtung fungiert ein Linux Bastion Host als Jump-Server, der eine sichere Verbindung von Ihrem Computer zu den Ressourcen in Ihrer VPC ermöglicht. Anschließend verwenden Sie ein SOCKS-Proxy-Management-Add-on, um die Proxy-Einstellungen in Ihrem Browser für den Zugriff auf Ihre Apache Airflow-Benutzeroberfläche zu steuern.

Anmerkung

Dieses Tutorial bezieht sich auf den Zugriffsmodus „Privates Netzwerk“. Wenn Sie sowohl öffentlichen als auch privaten Netzwerkzugriff ausgewählt haben, benötigen Sie keinen Bastion-Host, um auf die Apache Airflow-Benutzeroberfläche zuzugreifen, da sie über das Internet zugänglich ist.

Privates Netzwerk

In diesem Tutorial wird davon ausgegangen, dass Sie den privaten Netzwerkzugriffsmodus für Ihren Apache Airflow-Webserver ausgewählt haben.

Dieses Bild zeigt die Architektur für eine Amazon MWAA-Umgebung mit privatem Netzwerkzugriff.

Der Zugriffsmodus für private Netzwerke beschränkt den Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde.

Wenn Sie eine Umgebung mit privatem Netzwerkzugriff erstellen, müssen Sie alle Ihre Abhängigkeiten in einem Python-Wheel-Archiv (.whl) verpacken und dann in Ihrem darauf verweisen. .whl requirements.txt Anweisungen zum Verpacken und Installieren Ihrer Abhängigkeiten mit Wheel finden Sie unter Abhängigkeiten mit Python Wheel verwalten.

Die folgende Abbildung zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

Dieses Bild zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

Anwendungsfälle

Sie können dieses Tutorial verwenden, nachdem Sie eine Amazon MWAA-Umgebung erstellt haben. Sie müssen dieselbe Amazon VPC, dieselben VPC-Sicherheitsgruppen und dieselben öffentlichen Subnetze wie Ihre Umgebung verwenden.

Bevor Sie beginnen

  1. Suchen Sie nach Benutzerberechtigungen. Stellen Sie sicher, dass Ihr Konto in AWS Identity and Access Management (IAM) über ausreichende Berechtigungen zum Erstellen und Verwalten von VPC-Ressourcen verfügt.

  2. Verwenden Sie Ihre Amazon MWAA VPC. In diesem Tutorial wird davon ausgegangen, dass Sie den Bastion-Host einer vorhandenen VPC zuordnen. Die Amazon VPC muss sich in derselben Region wie Ihre Amazon MWAA-Umgebung befinden und über zwei private Subnetze verfügen, wie unter definiert. Erstellen Sie das VPC-Netzwerk

  3. Erstellen Sie einen SSH-Schlüssel. Sie müssen einen Amazon EC2-SSH-Schlüssel (.pem) in derselben Region wie Ihre Amazon MWAA-Umgebung erstellen, um eine Verbindung zu den virtuellen Servern herzustellen. Wenn Sie keinen SSH-Schlüssel haben, finden Sie weitere Informationen unter Erstellen oder Importieren eines Schlüsselpaars im Amazon EC2-Benutzerhandbuch.

Ziele

In diesem Tutorial führen Sie folgende Aufgaben durch:

  1. Erstellen Sie eine Linux Bastion Host-Instance mithilfe einer CloudFormation Vorlage für eine vorhandene VPC.

  2. Autorisieren Sie eingehenden Datenverkehr zur Sicherheitsgruppe der Bastion-Instanz mithilfe einer Eingangsregel für den Port. 22

  3. Autorisieren Sie eingehenden Datenverkehr von der Sicherheitsgruppe einer Amazon MWAA-Umgebung zur Sicherheitsgruppe der Bastion-Instance.

  4. Erstellen Sie einen SSH-Tunnel zur Bastion-Instance.

  5. Installieren und konfigurieren Sie das FoxyProxy Add-on für den Firefox-Browser, um auf die Apache Airflow-Benutzeroberfläche zuzugreifen.

Schritt 1: Erstellen Sie die Bastion-Instanz

Im folgenden Abschnitt werden die Schritte zum Erstellen der Linux-Bastion-Instanz beschrieben.

Öffnen Sie die Amazon Elastic Compute Cloud-Konsole unter https://console.aws.amazon.com/ec2/ und erstellen Sie eine Amazon EC2-Instance in einem der öffentlichen Subnetze in der VPC, die für Ihre Amazon MWAA-Umgebung verwendet wird.

Anmerkung

Wir empfehlen, dass Sie die TCP-Weiterleitung auf der Amazon EC2-Instance zulassen. TCP-Weiterleitung bedeutet SSH-TCP-Weiterleitung, die ssh -L/-D Tunnel durch den Host ermöglicht. Die AllowTcpForwarding Direktive im SSH-Daemon config (/etc/ssh/sshd_config) steuert diese Einstellung. Bei den meisten yes Amazon Linux- und Ubuntu-AMIs ist sie standardmäßig aktiviert, bei gehärteten Bastion-AMIs ist sie jedoch häufig deaktiviert.

Schritt 2: Erstellen Sie den SSH-Tunnel

Die folgenden Schritte beschreiben, wie Sie den SSH-Tunnel zu Ihrer Linux-Bastion erstellen. Ein SSH-Tunnel empfängt die Anfrage von Ihrer lokalen IP-Adresse an die Linux-Bastion, weshalb true in den vorherigen Schritten die TCP-Weiterleitung für die Linux-Bastion auf eingestellt wurde.

macOS/Linux
Um einen Tunnel mit der Befehlszeile zu erstellen

  1. Öffnen Sie die https://console.aws.amazon.com/ec2/v2/home#/Instances: Instanzen-Seite auf der Amazon EC2-Konsole.

  2. Wählen einer Instance

  3. Kopieren Sie die Adresse in Public IPv4 DNS. Beispiel, ec2-4-82-142-1.compute-1.amazonaws.com.

  4. Navigieren Sie in Ihrer Eingabeaufforderung zu dem Verzeichnis, in dem Ihr SSH-Schlüssel gespeichert ist.

  5. Führen Sie den folgenden Befehl aus, um mithilfe von SSH eine Verbindung zur Bastion-Instanz herzustellen. Ersetzen Sie den Beispielwert durch Ihren SSH-Schlüsselnamen inmykeypair.pem.

    ssh -i mykeypair.pem -N -D 8157 ec2-user@YOUR_PUBLIC_IPV4_DNS
Windows (PuTTY)
Um einen Tunnel mit PuTTY zu erstellen

  1. Öffnen Sie die https://console.aws.amazon.com/ec2/v2/home#/Instances: Instanzen-Seite auf der Amazon EC2-Konsole.

  2. Wählen einer Instance

  3. Kopieren Sie die Adresse in Public IPv4 DNS. Beispiel, ec2-4-82-142-1.compute-1.amazonaws.com.

  4. Öffnen Sie PuTTY und wählen Sie Sitzung.

  5. Geben Sie im Feld Hostname den Hostnamen als ec2-user@ YOUR_PUBLIC_IPV4_DNS und den Port als ein. 22

  6. Erweitern Sie die Registerkarte SSH und wählen Sie Auth aus. Wählen Sie in der privaten Schlüsseldatei für die Authentifizierung Ihre lokale „ppk“ -Datei aus.

  7. Wählen Sie unter SSH die Registerkarte Tunnel und dann die Optionen Dynamisch und Automatisch aus.

  8. Fügen Sie unter Quellport den 8157 Port (oder einen anderen unbenutzten Port) hinzu, und lassen Sie das Feld Zielport leer. Wählen Sie Hinzufügen aus.

  9. Wählen Sie die Registerkarte Sitzung und geben Sie einen Sitzungsnamen ein. Zum Beispiel SSH Tunnel.

  10. Wählen Sie Speichern, Öffnen.

    Anmerkung

    Möglicherweise müssen Sie eine Passphrase für Ihren öffentlichen Schlüssel eingeben.
Anmerkung

Wenn Sie eine Permission denied (publickey) Fehlermeldung erhalten, empfehlen wir, das AWSSupport-TroubleshootSSH Tool zu verwenden und diese Automatisierung ausführen (Konsole) auszuwählen, um Probleme mit Ihrem SSH-Setup zu beheben.

Schritt drei: Konfigurieren Sie die Bastion-Sicherheitsgruppe als Regel für eingehenden Datenverkehr

Der Zugriff auf die Server und der reguläre Internetzugriff von den Servern aus werden mit einer speziellen Wartungssicherheitsgruppe ermöglicht, die diesen Servern zugeordnet ist. In den folgenden Schritten wird beschrieben, wie die Bastion-Sicherheitsgruppe als Quelle für eingehenden Datenverkehr an die VPC-Sicherheitsgruppe einer Umgebung konfiguriert wird.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Netzwerk die Option VPC-Sicherheitsgruppe aus.

  4. Wählen Sie Edit inbound rules (Regeln für eingehenden Datenverkehr bearbeiten) aus.

  5. Wählen Sie Regel hinzufügen aus.

  6. Wählen Sie Ihre VPC-Sicherheitsgruppen-ID in der Dropdownliste Quelle aus.

  7. Lassen Sie die verbleibenden Optionen leer oder setzen Sie sie auf ihre Standardwerte zurück.

  8. Wählen Sie Regeln speichern aus.

Schritt 4: Kopieren Sie die Apache Airflow-URL

In den folgenden Schritten wird beschrieben, wie Sie die Amazon MWAA-Konsole öffnen und die URL in die Apache Airflow-Benutzeroberfläche kopieren.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Kopieren Sie die URL in der Airflow-Benutzeroberfläche für die nachfolgenden Schritte.

Fünfter Schritt: Proxy-Einstellungen konfigurieren

Wenn Sie einen SSH-Tunnel mit dynamischer Port-Weiterleitung verwenden, müssen Sie ein Add-On für die SOCKS-Proxy-Verwaltung einsetzen, um die Proxy-Einstellungen in Ihrem Browser zu steuern. Sie können beispielsweise die --proxy-server Funktion von Chromium verwenden, um eine Browsersitzung zu starten, oder die FoxyProxy Erweiterung im FireFox Mozilla-Browser verwenden.

Option eins: Richten Sie einen SSH-Tunnel mithilfe der lokalen Portweiterleitung ein

Wenn Sie keinen SOCKS-Proxy verwenden möchten, können Sie mithilfe der lokalen Portweiterleitung einen SSH-Tunnel einrichten. Der folgende Beispielbefehl greift auf den Apache Airflow-Webserver zu, indem er den Datenverkehr über den lokalen Port 8157 weiterleitet.

  1. Öffnen Sie ein neues Befehlszeilenfenster.

  2. Geben Sie den folgenden Befehl ein, um einen SSH-Tunnel zu öffnen.

    ssh -i mykeypair.pem -N -L 8157:YOUR_VPC_ENDPOINT_ID-vpce.us-east-1.airflow.amazonaws.com:443 ec2-user@YOUR_PUBLIC_IPV4_DNS

    -Lbedeutet die Verwendung einer lokalen Portweiterleitung, mit der Sie einen lokalen Port angeben können, über den Daten an den identifizierten Remote-Port auf dem lokalen Webserver des Knotens weitergeleitet werden.

  3. Geben Sie es http://localhost:8157/ in Ihrem Browser ein.

    Anmerkung

    Möglicherweise müssen Sie verwendenhttps://localhost:8157/.

Option zwei: Proxys über die Befehlszeile

Sie können die meisten Webbrowser verwenden, um Proxys mithilfe einer Befehlszeile oder eines Konfigurationsparameters zu konfigurieren. Mit Chromium können Sie den Browser beispielsweise mit dem folgenden Befehl starten:

chromium --proxy-server="socks5://localhost:8157"

Dadurch wird eine Browsersitzung gestartet, die den SSH-Tunnel verwendet, den Sie in den vorherigen Schritten erstellt haben, um ihre Anfragen weiterzuleiten. Sie können Ihre private Amazon MWAA-Umgebungs-URL (mit https://) wie folgt öffnen:

https://YOUR_VPC_ENDPOINT_ID-vpce.us-east-1.airflow.amazonaws.com/home.

Option drei: Proxys, die Mozilla Firefox verwenden FoxyProxy

Das folgende Beispiel zeigt eine FoxyProxy Standardkonfiguration (Version 7.5.1) für Mozilla Firefox. FoxyProxy bietet eine Reihe von Tools zur Proxyverwaltung. Sie können damit einen Proxyserver für URLs verwenden, die Mustern entsprechen, die den von der Apache Airflow-Benutzeroberfläche verwendeten Domänen entsprechen.

  1. Öffnen Sie in Firefox die Seite mit der FoxyProxy Standarderweiterung.

  2. Wählen Sie Zu Firefox hinzufügen.

  3. Wählen Sie Hinzufügen aus.

  4. Wählen Sie das FoxyProxy Symbol in der Werkzeugleiste Ihres Browsers und wählen Sie Optionen.

  5. Kopieren Sie den folgenden Code und speichern Sie ihn lokal untermwaa-proxy.json. Ersetzen Sie den Beispielwert YOUR_HOST_NAME durch Ihre Apache Airflow-URL.

    {
  "e0b7kh1606694837384": {
    "type": 3,
    "color": "#66cc66",
    "title": "airflow",
    "active": true,
    "address": "localhost",
    "port": 8157,
    "proxyDNS": false,
    "username": "",
    "password": "",
    "whitePatterns": [
      {
        "title": "airflow-ui",
        "pattern": "YOUR_HOST_NAME",
        "type": 1,
        "protocols": 1,
        "active": true
      }
    ],
    "blackPatterns": [],
    "pacURL": "",
    "index": -1
  },
  "k20d21508277536715": {
    "active": true,
    "title": "Default",
    "notes": "These are the settings that are used when no patterns match a URL.",
    "color": "#0055E5",
    "type": 5,
    "whitePatterns": [
      {
        "title": "all URLs",
        "active": true,
        "pattern": "*",
        "type": 1,
        "protocols": 1
      }
    ],
    "blackPatterns": [],
      "index": 9007199254740991
  },
  "logging": {
    "active": true,
    "maxSize": 500
  },
  "mode": "patterns",
  "browserVersion": "82.0.3",
  "foxyProxyVersion": "7.5.1",
  "foxyProxyEdition": "standard"
}

  6. Wählen Sie im Bereich „Einstellungen von FoxyProxy 6.0+ importieren“ die Option „Einstellungen importieren“ und wählen Sie die Datei aus. mwaa-proxy.json

  7. Wählen Sie OK aus.

Schritt 6: Öffnen Sie die Apache Airflow-Benutzeroberfläche

Die folgenden Schritte beschreiben, wie Sie Ihre Apache Airflow-Benutzeroberfläche öffnen.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie Open Airflow UI.

Als nächstes