Starten Sie Cluster in einem VPC mit Amazon EMR - Amazon EMR
Sicherstellen der verfügbaren IP-Adressen für einen EMR Cluster auf EC2

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Starten Sie Cluster in einem VPC mit Amazon EMR

Nachdem Sie ein Subnetz eingerichtet haben, das für das Hosten von EMR Amazon-Clustern konfiguriert ist, starten Sie den Cluster in diesem Subnetz, indem Sie bei der Erstellung des Clusters die zugehörige Subnetz-ID angeben.

Anmerkung

Amazon EMR unterstützt private Subnetze in den Release-Versionen 4.2 und höher.

Wenn der Cluster gestartet wird, EMR fügt Amazon Sicherheitsgruppen hinzu, je nachdem, ob der Cluster in VPC privaten oder öffentlichen Subnetzen gestartet wird. Alle Sicherheitsgruppen erlauben den Eingang über Port 8443, um mit dem EMR Amazon-Service zu kommunizieren, aber die IP-Adressbereiche variieren für öffentliche und private Subnetze. Amazon EMR verwaltet all diese Sicherheitsgruppen und muss dem AWS Bereich im Laufe der Zeit möglicherweise weitere IP-Adressen hinzufügen. Weitere Informationen finden Sie unter Steuern Sie den Netzwerkverkehr mit Sicherheitsgruppen für Ihren EMR Amazon-Cluster.

Um den Cluster auf einem zu verwaltenVPC, EMR verbindet Amazon ein Netzwerkgerät mit dem primären Knoten und verwaltet es über dieses Gerät. Sie können dieses Gerät mithilfe der EC2 API Amazon-Aktion anzeigen DescribeInstances. Wenn Sie dieses Gerät ändern, fällt der Cluster möglicherweise aus.

Console
Um mit der Konsole einen Cluster in VPC einem zu starten

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

  3. Gehen Sie unter Netzwerk zum Feld Virtuelle private Cloud (VPC). Geben Sie Ihren Namen ein VPC oder wählen Sie Durchsuchen, um Ihren auszuwählenVPC. Wählen Sie alternativ Create, VPC um einen zu erstellenVPC, den Sie für Ihren Cluster verwenden können.

  4. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  5. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

AWS CLI
Um einen Cluster in einem zu starten VPC mit dem AWS CLI
Anmerkung

Das AWS CLI bietet keine Möglichkeit, eine NAT Instanz automatisch zu erstellen und sie mit Ihrem privaten Subnetz zu verbinden. Um jedoch einen S3-Endpunkt in Ihrem Subnetz zu erstellen, können Sie die VPC CLI Amazon-Befehle verwenden. Verwenden Sie die Konsole, um NAT Instances zu erstellen und Cluster in einem privaten Subnetz zu starten.

Nachdem Ihr konfiguriert VPC ist, können Sie EMR Amazon-Cluster darin starten, indem Sie den create-cluster Unterbefehl mit dem --ec2-attributes Parameter verwenden. Verwenden Sie den --ec2-attributes Parameter, um das VPC Subnetz für Ihren Cluster anzugeben.

  • Um einen Cluster in einem bestimmten Subnetz zu erstellen, geben Sie den folgenden Befehl ein: replace myKey mit dem Namen Ihres EC2 Amazon-Schlüsselpaars und ersetzen 77XXXX03 mit Ihrer Subnetz-ID.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Wenn Sie die Instance-Anzahl ohne den --instance-groups-Parameter angeben, wird ein einzelner Primärknoten gestartet. Die verbleibenden Instances werden dabei als Core-Knoten gestartet. Alle Knoten verwenden den im Befehl angegebenen Instance-Typ.

    Anmerkung

    Wenn Sie noch nicht die standardmäßige EMR Amazon-Servicerolle und das EC2 Instanzprofil erstellt haben, geben Sie ein, aws emr create-default-roles um sie zu erstellen, bevor Sie den create-cluster Unterbefehl eingeben.

Sicherstellen der verfügbaren IP-Adressen für einen EMR Cluster auf EC2

Um sicherzustellen, dass beim Start ein Subnetz mit ausreichend freien IP-Adressen verfügbar ist, überprüft die EC2 Subnetzauswahl die IP-Verfügbarkeit. Der Erstellungsprozess verwendet ein Subnetz mit der erforderlichen Anzahl an IP-Adressen, um Kern-, Primär- und Taskknoten nach Bedarf zu starten, auch wenn bei der ersten Erstellung nur Kernknoten für den Cluster erstellt werden. EMRüberprüft die Anzahl der IP-Adressen, die für den Start von Primär- und Taskknoten während der Erstellung erforderlich sind, und berechnet separat die Anzahl der IP-Adressen, die zum Starten von Kernknoten benötigt werden. Die Mindestanzahl der erforderlichen Primär- und Task-Instances oder Knoten wird automatisch von Amazon festgelegtEMR.

Wichtig

Wenn in den Subnetzen nicht VPC genug verfügbar ist, IPs um wichtige Knoten aufzunehmen, wird ein Fehler zurückgegeben und der Cluster wird nicht erstellt.

In den meisten Bereitstellungsfällen gibt es einen Zeitunterschied zwischen den einzelnen Starts von Kern-, Primär- und Taskknoten. Darüber hinaus ist es möglich, dass sich mehrere Cluster ein Subnetz teilen. In diesen Fällen kann die Verfügbarkeit von IP-Adressen schwanken, sodass beispielsweise nachfolgende Task-Node-Starts durch verfügbare IP-Adressen eingeschränkt werden können.