Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
VPCAmazon-Optionen
Wenn Sie einen EMR Amazon-Cluster in einem startenVPC, können Sie ihn entweder in einem öffentlichen, privaten oder gemeinsam genutzten Subnetz starten. Es gibt geringe, aber erwähnenswerte Unterschiede in Bezug auf die Konfiguration, je nachdem, welchen Subnetztyp Sie für ein Cluster auswählen.
Öffentliche Subnetze
EMRCluster in einem öffentlichen Subnetz benötigen ein verbundenes Internet-Gateway. Dies liegt daran, dass EMR Amazon-Cluster auf AWS Services und Amazon zugreifen müssenEMR. Wenn ein Service, wie Amazon S3, die Möglichkeit bietet, einen VPC Endpunkt zu erstellen, können Sie über den Endpunkt auf diese Dienste zugreifen, anstatt über ein Internet-Gateway auf einen öffentlichen Endpunkt zuzugreifen. Darüber hinaus EMR kann Amazon nicht mit Clustern in öffentlichen Subnetzen über ein Network Address Translation (NAT) -Gerät kommunizieren. Zu diesem Zweck ist ein Internet-Gateway erforderlich, aber Sie können in komplexeren Szenarien immer noch eine NAT Instance oder ein Gateway für anderen Datenverkehr verwenden.
Alle Instances in einem Cluster stellen entweder über einen VPC Endpunkt oder ein Internet-Gateway eine Verbindung zu Amazon S3 her. Andere AWS Dienste, die derzeit keine VPC Endgeräte unterstützen, verwenden nur ein Internet-Gateway.
Wenn Sie über zusätzliche AWS Ressourcen verfügen, die Sie nicht mit dem Internet-Gateway verbinden möchten, können Sie diese Komponenten in einem privaten Subnetz starten, das Sie in Ihrem erstellen. VPC
Cluster in einem öffentlichen Subnetz verwenden zwei Sicherheitsgruppen: eine für den Primärknoten und eine für Core- und Aufgabenknoten. Weitere Informationen finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen.
Das folgende Diagramm zeigt, wie ein EMR Amazon-Cluster in einem VPC öffentlichen Subnetz ausgeführt wird. Der Cluster kann über das Internet-Gateway eine Verbindung zu anderen AWS Ressourcen wie Amazon S3 S3-Buckets herstellen.
Das folgende Diagramm zeigt, wie Sie einen VPC so einrichten, dass ein Cluster in der auf Ressourcen in Ihrem eigenen Netzwerk zugreifen VPC kann, z. B. auf eine Oracle-Datenbank.
Private Subnetze
Mit einem privaten Subnetz können Sie AWS Ressourcen starten, ohne dass das Subnetz über ein angeschlossenes Internet-Gateway verfügen muss. Amazon EMR unterstützt das Starten von Clustern in privaten Subnetzen mit den Release-Versionen 4.2.0 oder höher.
Anmerkung
Wenn Sie einen EMR Amazon-Cluster in einem privaten Subnetz einrichten, empfehlen wir, dass Sie auch VPCEndpunkte für Amazon S3 einrichten. Wenn sich Ihr EMR Cluster in einem privaten Subnetz ohne VPC Endpunkte für Amazon S3 befindet, fallen zusätzliche NAT Gateway-Gebühren an, die mit dem S3-Verkehr verbunden sind, da der Verkehr zwischen Ihrem EMR Cluster und S3 nicht innerhalb Ihres bleibt. VPC
Private Subnetze unterscheiden sich von öffentlichen Subnetzen in folgenden Punkten:
-
Um auf AWS Dienste zuzugreifen, die keinen VPC Endpunkt bereitstellen, müssen Sie dennoch eine NAT Instance oder ein Internet-Gateway verwenden.
-
Sie müssen mindestens eine Route zum Amazon EMR Service Logs-Bucket und zum Amazon Linux-Repository in Amazon S3 angeben. Weitere Informationen finden Sie unter Amazon-S3-Mindestrichtlinie für private Subnetze
-
Wenn Sie EMRFS Funktionen verwenden, benötigen Sie einen Amazon S3 VPC S3-Endpunkt und eine Route von Ihrem privaten Subnetz zu DynamoDB.
-
Das Debuggen funktioniert nur, wenn Sie eine Route von Ihrem privaten Subnetz zu einem öffentlichen SQS Amazon-Endpunkt angeben.
-
Das Erstellen einer privaten Subnetzkonfiguration mit einer NAT Instance oder einem Gateway in einem öffentlichen Subnetz wird nur mit der unterstützt. AWS Management Console Der einfachste Weg, NAT Instances und Amazon VPC S3-Endpunkte für EMR Amazon-Cluster hinzuzufügen und zu konfigurieren, besteht darin, die Seite VPCSubnetzliste in der EMR Amazon-Konsole zu verwenden. Informationen zur Konfiguration von NAT Gateways finden Sie unter NATGateways im VPCAmazon-Benutzerhandbuch.
-
Sie können ein Subnetz mit einem vorhandenen EMR Amazon-Cluster nicht von öffentlich zu privat oder umgekehrt ändern. Um einen EMR Amazon-Cluster in einem privaten Subnetz zu finden, muss der Cluster in diesem privaten Subnetz gestartet werden.
Amazon EMR erstellt und verwendet verschiedene Standardsicherheitsgruppen für die Cluster in einem privaten Subnetz: ElasticMapReduce -Master-Private, ElasticMapReduce -Slave-Private und -. ElasticMapReduce ServiceAccess Weitere Informationen finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen.
Für eine vollständige Liste Ihres NACLs Clusters wählen Sie Sicherheitsgruppen für Primär und Sicherheitsgruppen für Core & Task auf der Seite Cluster-Details der EMR Amazon-Konsole.
Die folgende Abbildung zeigt, wie ein EMR Amazon-Cluster in einem privaten Subnetz konfiguriert ist. Die einzige Kommunikation außerhalb des Subnetzes erfolgt mit AmazonEMR.
Die folgende Abbildung zeigt eine Beispielkonfiguration für einen EMR Amazon-Cluster in einem privaten Subnetz, das mit einer NAT Instance verbunden ist, die sich in einem öffentlichen Subnetz befindet.
Gemeinsam genutzte Subnetze
VPCDurch die gemeinsame Nutzung können Kunden Subnetze mit anderen AWS Konten innerhalb derselben AWS Organisation gemeinsam nutzen. Sie können EMR Amazon-Cluster sowohl in öffentlichen, gemeinsam genutzten als auch in privaten, gemeinsam genutzten Subnetzen starten. Beachten Sie dabei die folgenden Einschränkungen.
Der Subnetzbesitzer muss ein Subnetz mit Ihnen teilen, bevor Sie dort einen EMR Amazon-Cluster starten können. Die Freigabe für gemeinsame Subnetze kann jedoch zu einem späteren Zeitpunkt wieder aufgehoben werden. Weitere Informationen finden Sie unter Arbeiten mit Shared. VPCs Wenn ein Cluster in einem gemeinsam genutzten Subnetz gestartet wird und dieses gemeinsame Subnetz dann nicht mehr gemeinsam genutzt wird, können Sie je nach Zustand des EMR Amazon-Clusters bestimmte Verhaltensweisen beobachten, wenn das Subnetz nicht gemeinsam genutzt wird.
-
Die gemeinsame Nutzung des Subnetzes wurde aufgehoben, bevor der Cluster erfolgreich gestartet wurde — Wenn der Eigentümer die gemeinsame Nutzung des Amazon VPC - oder Subnetzes beendet, während der Teilnehmer einen Cluster startet, kann der Cluster möglicherweise nicht gestartet oder teilweise initialisiert werden, ohne dass alle angeforderten Instances bereitgestellt werden.
-
Nach erfolgreichem Start des Clusters wird die gemeinsame Nutzung des Subnetzes aufgehoben — Wenn der Eigentümer ein Subnetz oder Amazon nicht mehr VPC mit dem Teilnehmer teilt, kann die Größe der Cluster des Teilnehmers nicht geändert werden, um neue Instances hinzuzufügen oder fehlerhafte Instances zu ersetzen.
Wenn Sie einen EMR Amazon-Cluster starten, werden mehrere Sicherheitsgruppen erstellt. In einem gemeinsamen Subnetz steuert der Subnetzteilnehmer diese Sicherheitsgruppen. Der Subnetzbesitzer kann diese Sicherheitsgruppen zwar anzeigen, jedoch keine Aktionen bei diesen durchführen. Wenn der Subnetzbesitzer die Sicherheitsgruppe entfernen oder ändern möchte, muss der Teilnehmer, der die Sicherheitsgruppe erstellt hat, die Aktion durchführen.
Steuern Sie VPC die Berechtigungen mit IAM
Standardmäßig können alle -Benutzer sämtliche Subnetze für das Konto sehen einen Cluster in einem Subnetz starten.
Wenn Sie einen Cluster in einem startenVPC, können Sie AWS Identity and Access Management (IAM) verwenden, um den Zugriff auf Cluster zu kontrollieren und Aktionen mithilfe von Richtlinien einzuschränken, genau wie bei Clustern, die in Amazon EC2 Classic gestartet werden. Weitere Informationen zu IAM finden Sie im IAMBenutzerhandbuch.
Sie können damit auch steuernIAM, wer Subnetze erstellen und verwalten darf. Sie können beispielsweise eine IAM Rolle zur Verwaltung von Subnetzen und eine zweite Rolle erstellen, die Cluster starten, aber keine VPC Amazon-Einstellungen ändern kann. Weitere Informationen zur Verwaltung von Richtlinien und Aktionen bei Amazon EC2 und Amazon VPC finden Sie unter IAMRichtlinien für Amazon EC2 im EC2Amazon-Benutzerhandbuch.
