Konfiguration eines EMR Amazon-Clusters zum Fortfahren oder Beenden nach der Ausführung des Schritts - Amazon EMR
So erstellen Sie einen langlebigen ClusterDie Schrittausführung konfigurieren

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration eines EMR Amazon-Clusters zum Fortfahren oder Beenden nach der Ausführung des Schritts

In diesem Thema werden die Unterschiede zwischen der Verwendung eines Clusters mit langer Laufzeit und der Erstellung eines transienten Clusters erläutert, der nach der Ausführung des letzten Schritts heruntergefahren wird. Außerdem wird beschrieben, wie die Schrittausführung für einen Cluster konfiguriert wird.

So erstellen Sie einen langlebigen Cluster

Standardmäßig haben Cluster, die Sie mit der Konsole oder der AWS CLI erstellen, eine lange Laufzeit. Cluster mit langer Laufzeit laufen weiter, akzeptieren Arbeit und es fallen Gebühren an, bis Sie Maßnahmen ergreifen, um sie herunterzufahren.

Ein Cluster mit langer Laufzeit ist in folgenden Situationen wirksam:

  • Wenn Sie interaktiv oder automatisch Daten abfragen müssen.

  • Wenn Sie kontinuierlich mit Big-Data-Anwendungen interagieren müssen, die auf dem Cluster gehostet werden.

  • Wenn Sie regelmäßig einen Datensatz verarbeiten, der so groß oder so häufig ist, dass es ineffizient ist, jedes Mal neue Cluster zu starten und Daten zu laden.

Sie können auch einen Kündigungsschutz für einen Cluster mit langer Laufzeit einrichten, um zu verhindern, dass EC2 Instanzen versehentlich oder versehentlich heruntergefahren werden. Weitere Informationen finden Sie unter Verwenden Sie den Kündigungsschutz, um Ihre EMR Amazon-Cluster vor einem versehentlichen Herunterfahren zu schützen.

Anmerkung

Amazon aktiviert EMR automatisch den Kündigungsschutz für alle Cluster mit mehreren Primärknoten und überschreibt alle Einstellungen für die Schrittausführung, die Sie bei der Erstellung des Clusters angeben. Sie können den Kündigungsschutz deaktivieren, nachdem der Cluster gestartet wurde. Siehe Konfigurieren des Beendigungsschutzes für aktive Cluster. Um einen Cluster mit mehreren Primärknoten herunterzufahren, müssen Sie zunächst die Clusterattribute ändern, um den Kündigungsschutz zu deaktivieren. Detaillierte Anweisungen finden Sie unter Einen EMR Amazon-Cluster mit mehreren Primärknoten beenden.

Einen Cluster so konfigurieren, dass er nach der Ausführung des Schritts beendet wird

Wenn Sie die Beendigung nach der Schrittausführung konfigurieren, startet der Cluster, führt Bootstrap-Aktionen aus und führt dann die von Ihnen angegebenen Schritte aus. Sobald der letzte Schritt abgeschlossen ist, EMR beendet Amazon die EC2 Amazon-Instances des Clusters. Bei Clustern, die Sie mit Amazon starten, ist EMR API die Step-Ausführung standardmäßig aktiviert.

Die Beendigung nach der Schrittausführung ist für Cluster wirksam, die eine periodische Verarbeitungsaufgabe ausführen, beispielsweise einen täglichen Datenverarbeitungslauf. Mit der schrittweisen Ausführung können Sie außerdem sicherstellen, dass Ihnen nur die Zeit in Rechnung gestellt wird, die für die Verarbeitung Ihrer Daten erforderlich ist. Weitere Informationen zu den Schritten finden Sie unter Arbeit an einen EMR Amazon-Cluster einreichen.

Console
Um die Beendigung nach der schrittweisen Ausführung mit der Konsole zu aktivieren

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

  3. Wählen Sie unter Schritte die Option Schritt hinzufügen aus. Geben Sie im Dialogfeld Schritt hinzufügen die entsprechenden Feldwerte ein. Die Optionen unterscheiden sich je nach Schritttyp. Um Ihren Schritt hinzuzufügen und das Dialogfeld zu verlassen, wählen Sie Schritt hinzufügen.

  4. Aktivieren Sie unter Clusterbeendigung das Kontrollkästchen Cluster nach Abschluss des letzten Schritts beenden.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

AWS CLI
Um die Beendigung nach der Ausführung des Schritts zu aktivieren, verwenden Sie AWS CLI

  • Geben Sie den --auto-terminate-Parameter an, wenn Sie den create-cluster-Befehl verwenden, um einen vorübergehenden Cluster zu erstellen.

    Das folgende Beispiel veranschaulicht die Verwendung des --auto-terminate-Parameters. Sie können den folgenden Befehl eingeben und ihn ersetzen myKey mit dem Namen Ihres EC2 key pair.

    Anmerkung

    Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

    aws emr create-cluster --name "Test cluster" --release-label emr-7.3.0 \
--applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
--steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
Args=[-f,s3://amzn-s3-demo-bucket/scripts/pigscript.pig,-p,\
INPUT=s3://amzn-s3-demo-bucket/inputdata/,-p,OUTPUT=s3://amzn-s3-demo-bucket/outputdata/,\
$INPUT=s3://amzn-s3-demo-bucket/inputdata/,$OUTPUT=s3://amzn-s3-demo-bucket/outputdata/]
--instance-type m5.xlarge --instance-count 3 --auto-terminate
API
So deaktivieren Sie die Kündigung nach der Ausführung des Schritts beim Start von Amazon EMR API im Cluster

  1. Wenn Sie die RunJobFlowAktion verwenden, um einen Cluster zu erstellen, setzen Sie die KeepJobFlowAliveWhenNoStepsEigenschaft auffalse.

  2. So ändern Sie Ihre Konfiguration der Beendigung nach der Ausführung des Schritts mit dem Start des Amazon EMR API Post-Clusters:

    SetKeepJobFlowAliveWhenNoSteps Aktion verwenden.