Netzwerk konfigurieren - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Netzwerk konfigurieren

Dieser Abschnitt enthält Informationen darüber, wie Administratoren ihr Netzwerk so konfigurieren können, dass die Kommunikation zwischen Studio oder Studio Classic und einem EMR Amazon-Cluster ermöglicht wird.

Die Netzwerkanweisungen variieren je nachdem, ob Studio und Amazon in einer privaten Amazon Virtual Private Cloud (VPC) bereitgestellt EMR werden oder über das Internet kommunizieren.

Standardmäßig werden Studio oder Studio Classic in einem AWS verwalteten System VPC mit Internetzugang ausgeführt. Bei Verwendung einer Internetverbindung greifen Studio und Studio Classic über das Internet auf AWS Ressourcen wie Amazon S3 S3-Buckets zu. Wenn Sie jedoch Sicherheitsanforderungen haben, um den Zugriff auf Ihre Daten- und Jobcontainer zu kontrollieren, empfehlen wir Ihnen, Studio oder Studio Classic und Amazon EMR so zu konfigurieren, dass Ihre Daten und Container nicht über das Internet zugänglich sind. Um den Zugriff auf Ihre Ressourcen zu kontrollieren oder Studio oder Studio Classic ohne öffentlichen Internetzugang auszuführen, können Sie den VPC only Netzwerkzugriffstyp angeben, wenn Sie sich in die SageMaker Amazon-Domain einbinden. In diesem Szenario stellen sowohl Studio als auch Studio Classic über private VPCEndpunkte Verbindungen zu anderen AWS Diensten her. Informationen zur Konfiguration von Studio oder Studio Classic im VPC only Modus finden Sie unter SageMaker Studio- oder Studio Classic-Notizbücher in a VPC mit externen Ressourcen Connect. .

In den ersten beiden Abschnitten wird beschrieben, wie die Kommunikation zwischen Studio oder Studio Classic und einem EMR Amazon-Cluster VPCs ohne öffentlichen Internetzugang sichergestellt werden kann. Im letzten Abschnitt wird beschrieben, wie Sie die Kommunikation zwischen Studio oder Studio Classic und Amazon EMR über eine Internetverbindung sicherstellen können. Bevor Sie Studio oder Studio Classic und Amazon EMR ohne Internetzugang verbinden, stellen Sie sicher, dass Sie Endpunkte für Amazon Simple Storage Service (Datenspeicherung), Amazon CloudWatch (Protokollierung und Überwachung) und Amazon SageMaker Runtime (detaillierte rollenbasierte Zugriffskontrolle ()) einrichten. RBAC

So verbinden Sie Studio oder Studio Classic mit Ihrem EMR Amazon-Cluster:

Studio und Amazon EMR sind getrennt VPCs

Gehen Sie wie folgt vor, um die Kommunikation zwischen Studio oder Studio Classic und Amazon zu ermöglichen, EMR wenn sie separat bereitgestellt werdenVPCs:

  1. Stellen Sie zunächst eine Verbindung VPCs über eine VPC Peering-Verbindung her.

  2. Aktualisieren Sie Ihre Routing-Tabellen jeweilsVPC, um den Netzwerkverkehr zwischen Studio- oder Studio Classic-Subnetzen und Amazon-Subnetzen in beide EMR Richtungen weiterzuleiten.

  3. Konfigurieren Sie Ihre VPC-Sicherheitsgruppen so, dass ein- und ausgehender Datenverkehr zugelassen sind.

Die Schritte zum Verbinden von Studio oder Studio Classic und Amazon EMR sind dieselben, unabhängig davon, ob die Ressourcen in einem einzigen AWS Konto (Einzelkonto-Anwendungsfall) oder in mehreren AWS Konten (kontoübergreifender Anwendungsfall) bereitgestellt werden.

  1. VPCPeering

    Stellen Sie eine VPCPeering-Verbindung her, um die Vernetzung zwischen den beiden VPCs (Studio oder Studio Classic und AmazonEMR) zu erleichtern.

    1. Wählen Sie in Ihrem Studio- oder Studio Classic-Konto im VPC Dashboard Peering-Verbindungen und dann Peering-Verbindung erstellen aus.

    2. Erstellen Sie Ihre Anfrage, um das Studio oder Studio Classic VPC mit Amazon zu vergleichen EMRVPC. Wenn Sie Peering für ein anderes AWS Konto beantragen, wählen Sie unter Anderes Konto für Peering auswählen die Option VPC Anderes Konto aus.

      Für kontoübergreifendes Peering muss der Administrator die Anfrage vom EMR Amazon-Konto akzeptieren.

      Beim Peering privater Subnetze sollten Sie die private DNS IP-Auflösung auf der Peering-Verbindungsebene aktivieren. VPC

  2. Routing-Tabellen

    Senden Sie den Netzwerkverkehr zwischen Studio- oder Studio Classic-Subnetzen und EMR Amazon-Subnetzen in beide Richtungen.

    Nachdem Sie die Peering-Verbindung hergestellt haben, kann der Administrator (für jedes Konto für kontoübergreifenden Zugriff) Routen zu den Routing-Tabellen für private Subnetze hinzufügen, um den Datenverkehr zwischen Studio oder Studio Classic und den Cluster-Subnetzen weiterzuleiten. Sie können diese Routen definieren, indem Sie im Dashboard jeweils VPC den Abschnitt Routentabellen aufrufen. VPC

    Die folgende Abbildung der Routing-Tabelle eines VPC Studio-Subnetzes zeigt ein Beispiel für eine ausgehende Route vom Studio-Konto zum EMR VPC Amazon-IP-Bereich (hier2.0.1.0/24) über die Peering-Verbindung.

    Routing-Tabelle eines VPC Studio-Subnetzes mit den ausgehenden Routen.

    Die folgende Abbildung einer Routing-Tabelle eines EMR VPC Amazon-Subnetzes zeigt ein Beispiel für Rückrouten vom VPC IP-Bereich von Amazon EMR VPC zum Studio (hier10.0.20.0/24) über die Peering-Verbindung.

    Routentabelle eines EMR VPC Amazon-Subnetzes mit den Rückwegen.
  3. Sicherheitsgruppen

    Schließlich muss die Sicherheitsgruppe Ihrer Studio- oder Studio Classic-Domain ausgehenden Datenverkehr zulassen, und die Sicherheitsgruppe des EMR primären Amazon-Nodes muss eingehenden Datenverkehr auf Apache Livy -, Hive - oder TCPPresto-Ports (bzw. 899810000, und8889) von der Studio- oder Studio Classic-Instance-Sicherheitsgruppe zulassen. Apache Livy ist ein Dienst, der die Interaktion mit Amazon EMR über eine REST Schnittstelle ermöglicht.

Das folgende Diagramm zeigt ein Beispiel für ein VPC Amazon-Setup, das es JupyterLab unseren Studio Classic-Notebooks ermöglicht, EMR Amazon-Cluster aus AWS CloudFormation Vorlagen im Service Catalog bereitzustellen und dann eine Verbindung zu einem EMR Amazon-Cluster innerhalb desselben AWS Kontos herzustellen. Das Diagramm bietet eine zusätzliche Veranschaulichung der erforderlichen Endpunkte für eine direkte Verbindung zu verschiedenen AWS Diensten wie Amazon S3 oder Amazon CloudWatch, wenn diese keinen Internetzugang VPCs haben. Alternativ muss ein NATGateway verwendet werden, um es Instances in privaten Subnetzen mit mehreren Subnetzen VPCs zu ermöglichen, sich beim Zugriff auf das Internet eine einzige öffentliche IP-Adresse zu teilen, die vom Internet-Gateway bereitgestellt wird.

Das Beispiel einer VPC Amazon-Setup-Architektur.

Studio und Amazon EMR sind im selben VPC

Wenn sich Studio oder Studio Classic und die EMR Amazon-Cluster in unterschiedlichen Subnetzen befinden, fügen Sie Routen zu jeder privaten Subnetz-Routentabelle hinzu, um den Verkehr zwischen Studio oder Studio Classic und den Cluster-Subnetzen weiterzuleiten. Sie können diese Routen definieren, indem Sie im Dashboard jeweils VPC den Abschnitt Routentabellen aufrufen. VPC Wenn Sie Studio oder Studio Classic und einen EMR Amazon-Cluster im selben VPC Subnetz bereitgestellt haben, müssen Sie den Datenverkehr zwischen Studio oder Studio Classic und dem Cluster nicht weiterleiten.

Unabhängig davon, ob Sie Ihre Routing-Tabellen aktualisieren mussten oder nicht, muss die Sicherheitsgruppe Ihrer Studio- oder Studio Classic-Domain ausgehenden Datenverkehr zulassen, und die Sicherheitsgruppe des EMR primären Amazon-Nodes muss eingehenden Datenverkehr auf Apache Livy -, Hive - oder TCPPresto-Ports (bzw. 899810000, und8889) aus der Studio- oder Studio Classic-Instance-Sicherheitsgruppe zulassen. Apache Livy ist ein Service, der die Interaktion mit einem EMR Amazon-Cluster über eine REST Schnittstelle ermöglicht.

Studio und Amazon EMR kommunizieren über das öffentliche Internet

Standardmäßig bieten Studio und Studio Classic eine Netzwerkschnittstelle, die die Kommunikation mit dem Internet über ein Internet-Gateway in der mit der SageMaker Domain VPC verknüpften Domäne ermöglicht. Wenn Sie sich dafür entscheiden, EMR über das öffentliche Internet eine Verbindung zu Amazon herzustellen, muss Ihr EMR Amazon-Cluster eingehenden Datenverkehr über Apache Livy -, Hive - oder TCPPresto-Ports (bzw. 899810000, und8889) von seinem Internet-Gateway akzeptieren. Apache Livy ist ein Service, der die Interaktion mit einem EMR Amazon-Cluster über eine REST Schnittstelle ermöglicht.

Beachten Sie, dass jeder Port, an dem Sie eingehenden Datenverkehr zulassen, eine potenzielle Sicherheitslücke darstellt. Überprüfen Sie sorgfältig die benutzerdefinierten Sicherheitsgruppen, um Schwachstellen zu minimieren. Weitere Informationen finden Sie unter Netzwerkverkehr mit Hilfe von Sicherheitsgruppen steuern.

Alternativ finden Sie unter Blogs und Whitepapers eine detaillierte Anleitung, wie Sie Kerberos auf Amazon aktivierenEMR, den Cluster in einem privaten Subnetz einrichten und mit einem Network Load Balancer (NLB) auf den Cluster zugreifen, um nur bestimmte Ports verfügbar zu machen, deren Zugriff über Sicherheitsgruppen gesteuert wird.

Anmerkung

Wenn Sie über das öffentliche Internet eine Verbindung zu Ihrem Apache Livy-Endpunkt herstellen, empfehlen wir Ihnen, die Kommunikation zwischen Studio oder Studio Classic und Ihrem EMR Amazon-Cluster mithilfe von TLS zu sichern.

Informationen zur Einrichtung HTTPS mit Apache Livy finden Sie unter Aktivierung HTTPS mit Apache Livy. Informationen zur Einrichtung eines EMR Amazon-Clusters mit aktivierter Übertragungsverschlüsselung finden Sie unter Bereitstellen von Zertifikaten für die Verschlüsselung von Daten bei der Übertragung mit EMR Amazon-Verschlüsselung. Darüber hinaus müssen Sie Studio oder Studio Classic für den Zugriff auf Ihren Zertifikatsschlüssel konfigurieren, wie unter beschriebenStellen Sie eine Connect zu einem EMR Amazon-Cluster her über HTTPS.