Ajouter des étapes à un cluster Amazon EMR à l'aide du AWS CLI

Pour ajouter des étapes lors de la création du cluster

• Tapez la commande suivante pour créer un cluster et ajouter une étape Apache Pig. Assurez-vous de le remplacer myKey par le nom de votre paire de EC2 clés Amazon.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  Note

  La liste des arguments change en fonction du type d'étape.

  Par défaut, le niveau de simultanéité des étapes est 1. Vous pouvez définir le niveau de simultanéité des étapes à l'aide du paramètre StepConcurrencyLevel lorsque vous créez un cluster.

  Le résultat est un identifiant de cluster similaire au suivant.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

Pour ajouter une étape à un cluster en cours d'exécution

• Tapez la commande suivante pour ajouter une étape à un cluster en cours d'exécution. Remplacez j-2AXXXXXXGAPLF par votre propre identifiant de cluster.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  Le résultat est un identifiant d'étape similaire au suivant.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Pour modifier le StepConcurrencyLevel dans un cluster en cours d'exécution

1. Dans un cluster en cours d'exécution, vous pouvez le modifier le StepConcurrencyLevel à l'aide de l'API ModifyCluster. Par exemple, tapez la commande suivante pour augmenter le paramètre le StepConcurrencyLevel ou le 10. Remplacez j-2AXXXXXXGAPLF par votre propre identifiant de cluster.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. La sortie est similaire à ce qui suit.

   {
   "StepConcurrencyLevel": 10
   }