Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Netzwerk konfigurieren
Dieser Abschnitt enthält Informationen darüber, wie Administratoren ihr Netzwerk so konfigurieren können, dass die Kommunikation zwischen Studio oder Studio Classic und einem EMR Amazon-Cluster ermöglicht wird.
Die Netzwerkanweisungen variieren je nachdem, ob Studio und Amazon in einer privaten Amazon Virtual Private Cloud (VPC) bereitgestellt EMR werden oder über das Internet kommunizieren.
Standardmäßig werden Studio oder Studio Classic in einem AWS verwalteten System VPC mit Internetzugang ausgeführt. Bei Verwendung einer Internetverbindung greifen Studio und Studio Classic über das Internet auf AWS Ressourcen wie Amazon S3 S3-Buckets zu. Wenn Sie jedoch Sicherheitsanforderungen haben, um den Zugriff auf Ihre Daten- und Jobcontainer zu kontrollieren, empfehlen wir Ihnen, Studio oder Studio Classic und Amazon EMR so zu konfigurieren, dass Ihre Daten und Container nicht über das Internet zugänglich sind. Um den Zugriff auf Ihre Ressourcen zu kontrollieren oder Studio oder Studio Classic ohne öffentlichen Internetzugang auszuführen, können Sie den VPC only
Netzwerkzugriffstyp angeben, wenn Sie sich in die SageMaker Amazon-Domain einbinden. In diesem Szenario stellen sowohl Studio als auch Studio Classic über private VPCEndpunkte Verbindungen zu anderen AWS Diensten her. Informationen zur Konfiguration von Studio oder Studio Classic im VPC only
Modus finden Sie unter SageMaker Studio- oder Studio Classic-Notizbücher in a VPC mit externen Ressourcen Connect. .
In den ersten beiden Abschnitten wird beschrieben, wie die Kommunikation zwischen Studio oder Studio Classic und einem EMR Amazon-Cluster VPCs ohne öffentlichen Internetzugang sichergestellt werden kann. Im letzten Abschnitt wird beschrieben, wie Sie die Kommunikation zwischen Studio oder Studio Classic und Amazon EMR über eine Internetverbindung sicherstellen können. Bevor Sie Studio oder Studio Classic und Amazon EMR ohne Internetzugang verbinden, stellen Sie sicher, dass Sie Endpunkte für Amazon Simple Storage Service (Datenspeicherung), Amazon CloudWatch (Protokollierung und Überwachung) und Amazon SageMaker Runtime (detaillierte rollenbasierte Zugriffskontrolle ()) einrichten. RBAC
So verbinden Sie Studio oder Studio Classic mit Ihrem EMR Amazon-Cluster:
-
Wenn Studio oder Studio Classic und Amazon getrennt EMR sindVPCs, entweder im selben AWS Konto oder in unterschiedlichen Konten, finden Sie weitere Informationen unter Studio und Amazon EMR sind getrennt VPCs.
-
Wenn Studio oder Studio Classic und Amazon identisch EMR sindVPC, finden Sie weitere Informationen unterStudio und Amazon EMR sind im selben VPC.
-
Wenn Sie Studio oder Studio Classic und Amazon EMR über das öffentliche Internet verbinden möchten, finden Sie weitere Informationen unterStudio und Amazon EMR kommunizieren über das öffentliche Internet.
Studio und Amazon EMR sind getrennt VPCs
Gehen Sie wie folgt vor, um die Kommunikation zwischen Studio oder Studio Classic und Amazon zu ermöglichen, EMR wenn sie separat bereitgestellt werdenVPCs:
-
Stellen Sie zunächst eine Verbindung VPCs über eine VPC Peering-Verbindung her.
-
Aktualisieren Sie Ihre Routing-Tabellen jeweilsVPC, um den Netzwerkverkehr zwischen Studio- oder Studio Classic-Subnetzen und Amazon-Subnetzen in beide EMR Richtungen weiterzuleiten.
-
Konfigurieren Sie Ihre VPC-Sicherheitsgruppen so, dass ein- und ausgehender Datenverkehr zugelassen sind.
Die Schritte zum Verbinden von Studio oder Studio Classic und Amazon EMR sind dieselben, unabhängig davon, ob die Ressourcen in einem einzigen AWS Konto (Einzelkonto-Anwendungsfall) oder in mehreren AWS Konten (kontoübergreifender Anwendungsfall) bereitgestellt werden.
-
VPCPeering
Stellen Sie eine VPCPeering-Verbindung her, um die Vernetzung zwischen den beiden VPCs (Studio oder Studio Classic und AmazonEMR) zu erleichtern.
-
Wählen Sie in Ihrem Studio- oder Studio Classic-Konto im VPC Dashboard Peering-Verbindungen und dann Peering-Verbindung erstellen aus.
-
Erstellen Sie Ihre Anfrage, um das Studio oder Studio Classic VPC mit Amazon zu vergleichen EMRVPC. Wenn Sie Peering für ein anderes AWS Konto beantragen, wählen Sie unter Anderes Konto für Peering auswählen die Option VPC Anderes Konto aus.
Für kontoübergreifendes Peering muss der Administrator die Anfrage vom EMR Amazon-Konto akzeptieren.
Beim Peering privater Subnetze sollten Sie die private DNS IP-Auflösung auf der Peering-Verbindungsebene aktivieren. VPC
-
-
Routing-Tabellen
Senden Sie den Netzwerkverkehr zwischen Studio- oder Studio Classic-Subnetzen und EMR Amazon-Subnetzen in beide Richtungen.
Nachdem Sie die Peering-Verbindung hergestellt haben, kann der Administrator (für jedes Konto für kontoübergreifenden Zugriff) Routen zu den Routing-Tabellen für private Subnetze hinzufügen, um den Datenverkehr zwischen Studio oder Studio Classic und den Cluster-Subnetzen weiterzuleiten. Sie können diese Routen definieren, indem Sie im Dashboard jeweils VPC den Abschnitt Routentabellen aufrufen. VPC
Die folgende Abbildung der Routing-Tabelle eines VPC Studio-Subnetzes zeigt ein Beispiel für eine ausgehende Route vom Studio-Konto zum EMR VPC Amazon-IP-Bereich (hier
2.0.1.0/24
) über die Peering-Verbindung.Die folgende Abbildung einer Routing-Tabelle eines EMR VPC Amazon-Subnetzes zeigt ein Beispiel für Rückrouten vom VPC IP-Bereich von Amazon EMR VPC zum Studio (hier
10.0.20.0/24
) über die Peering-Verbindung. -
Sicherheitsgruppen
Schließlich muss die Sicherheitsgruppe Ihrer Studio- oder Studio Classic-Domain ausgehenden Datenverkehr zulassen, und die Sicherheitsgruppe des EMR primären Amazon-Nodes muss eingehenden Datenverkehr auf Apache Livy -, Hive - oder TCPPresto-Ports (bzw.
8998
10000
, und8889
) von der Studio- oder Studio Classic-Instance-Sicherheitsgruppe zulassen. Apache Livyist ein Dienst, der die Interaktion mit Amazon EMR über eine REST Schnittstelle ermöglicht.
Das folgende Diagramm zeigt ein Beispiel für ein VPC Amazon-Setup, das es JupyterLab unseren Studio Classic-Notebooks ermöglicht, EMR Amazon-Cluster aus AWS CloudFormation Vorlagen im Service Catalog bereitzustellen und dann eine Verbindung zu einem EMR Amazon-Cluster innerhalb desselben AWS Kontos herzustellen. Das Diagramm bietet eine zusätzliche Veranschaulichung der erforderlichen Endpunkte für eine direkte Verbindung zu verschiedenen AWS Diensten wie Amazon S3 oder Amazon CloudWatch, wenn diese keinen Internetzugang VPCs haben. Alternativ muss ein NATGateway verwendet werden, um es Instances in privaten Subnetzen mit mehreren Subnetzen VPCs zu ermöglichen, sich beim Zugriff auf das Internet eine einzige öffentliche IP-Adresse zu teilen, die vom Internet-Gateway bereitgestellt wird.
![Das Beispiel einer VPC Amazon-Setup-Architektur.](images/studio/emr/studio-notebooks-emr-architecture-singleaccount-vpcendpoints.png)
Studio und Amazon EMR sind im selben VPC
Wenn sich Studio oder Studio Classic und die EMR Amazon-Cluster in unterschiedlichen Subnetzen befinden, fügen Sie Routen zu jeder privaten Subnetz-Routentabelle hinzu, um den Verkehr zwischen Studio oder Studio Classic und den Cluster-Subnetzen weiterzuleiten. Sie können diese Routen definieren, indem Sie im Dashboard jeweils VPC den Abschnitt Routentabellen aufrufen. VPC Wenn Sie Studio oder Studio Classic und einen EMR Amazon-Cluster im selben VPC Subnetz bereitgestellt haben, müssen Sie den Datenverkehr zwischen Studio oder Studio Classic und dem Cluster nicht weiterleiten.
Unabhängig davon, ob Sie Ihre Routing-Tabellen aktualisieren mussten oder nicht, muss die Sicherheitsgruppe Ihrer Studio- oder Studio Classic-Domain ausgehenden Datenverkehr zulassen, und die Sicherheitsgruppe des EMR primären Amazon-Nodes muss eingehenden Datenverkehr auf Apache Livy -, Hive - oder TCPPresto-Ports (bzw. 8998
10000
, und8889
) aus der Studio- oder Studio Classic-Instance-Sicherheitsgruppe zulassen. Apache Livy
Studio und Amazon EMR kommunizieren über das öffentliche Internet
Standardmäßig bieten Studio und Studio Classic eine Netzwerkschnittstelle, die die Kommunikation mit dem Internet über ein Internet-Gateway in der mit der SageMaker Domain VPC verknüpften Domäne ermöglicht. Wenn Sie sich dafür entscheiden, EMR über das öffentliche Internet eine Verbindung zu Amazon herzustellen, muss Ihr EMR Amazon-Cluster eingehenden Datenverkehr über Apache Livy -, Hive - oder TCPPresto-Ports (bzw. 8998
10000
, und8889
) von seinem Internet-Gateway akzeptieren. Apache Livy
Beachten Sie, dass jeder Port, an dem Sie eingehenden Datenverkehr zulassen, eine potenzielle Sicherheitslücke darstellt. Überprüfen Sie sorgfältig die benutzerdefinierten Sicherheitsgruppen, um Schwachstellen zu minimieren. Weitere Informationen finden Sie unter Netzwerkverkehr mit Hilfe von Sicherheitsgruppen steuern.
Alternativ finden Sie unter Blogs und Whitepapers eine detaillierte Anleitung, wie Sie Kerberos auf Amazon aktivierenEMR, den Cluster in einem privaten Subnetz einrichten und mit einem Network Load Balancer (NLB) auf den Cluster zugreifen, um nur bestimmte Ports verfügbar zu machen, deren Zugriff über Sicherheitsgruppen gesteuert wird.
Anmerkung
Wenn Sie über das öffentliche Internet eine Verbindung zu Ihrem Apache Livy-Endpunkt herstellen, empfehlen wir Ihnen, die Kommunikation zwischen Studio oder Studio Classic und Ihrem EMR Amazon-Cluster mithilfe von TLS zu sichern.
Informationen zur Einrichtung HTTPS mit Apache Livy finden Sie unter Aktivierung HTTPS mit Apache Livy. Informationen zur Einrichtung eines EMR Amazon-Clusters mit aktivierter Übertragungsverschlüsselung finden Sie unter Bereitstellen von Zertifikaten für die Verschlüsselung von Daten bei der Übertragung mit EMR Amazon-Verschlüsselung. Darüber hinaus müssen Sie Studio oder Studio Classic für den Zugriff auf Ihren Zertifikatsschlüssel konfigurieren, wie unter beschriebenStellen Sie eine Connect zu einem EMR Amazon-Cluster her über HTTPS.