Hinzufügen von Schritten zu einem Amazon EMR-Cluster mit dem AWS CLI

So fügen Sie Schritte während der Clustererstellung hinzu

• Geben Sie den folgenden Befehl ein, um einen Cluster zu erstellen und einen Apache Pig-Schritt hinzuzufügen. Stellen Sie sicher, dass Sie es myKey durch den Namen Ihres EC2 Amazon-Schlüsselpaars ersetzen.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  Anmerkung

  Die Liste der Argumente ändert sich je nach Art des Schritts.

  Standardmäßig ist Nebenläufigkeitsstufe für Schritte 1. Sie können die Nebenläufigkeitsstufe für Schritte festlegen, indem Sie den StepConcurrencyLevel-Parameter beim Erstellen eines Clusters verwenden.

  Die Ausgabe ist eine Cluster-Kennung ähnlich der folgenden.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

So fügen Sie einen Schritt einem aktiven Cluster hinzu

• Geben Sie den folgenden Befehl ein, um einen Schritt zu einem aktiven Cluster hinzuzufügen. Ersetzen Sie j-2AXXXXXXGAPLF durch die ID Ihres eigenen Clusters.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  Die Ausgabe ist eine Schrittkennung ähnlich der folgenden.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Um das StepConcurrencyLevel in einem laufenden Cluster zu ändern

1. In einem laufenden Cluster können Sie den StepConcurrencyLevel mit der ModifyCluster-API ändern. Geben Sie beispielsweise den folgenden Befehl ein, um dieStepConcurrencyLevel für Schritte auf 10 zu erhöhen. Ersetzen Sie j-2AXXXXXXGAPLF durch die ID Ihres Clusters.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. Die Ausgabe sieht folgendermaßen oder ähnlich aus.

   {
   "StepConcurrencyLevel": 10
   }