Aggiungere passaggi a un cluster Amazon EMR con AWS CLI

Per aggiungere fasi durante la creazione del cluster

• Digitare il comando seguente per creare un cluster e aggiungere una fase Apache Pig. Assicurati di sostituirlo myKey con il nome della tua coppia di EC2 chiavi Amazon.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  Nota

  L'elenco di argomenti cambia in funzione del tipo di fase.

  Per impostazione predefinita, il livello di concorrenza delle fasi è 1. Puoi impostare il livello di simultaneità delle fasi utilizzando il parametro StepConcurrencyLevel quando crei un cluster.

  L'output è un identificatore di cluster simile a quanto segue.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

Per aggiungere una fase a un cluster in esecuzione

• Digitare il comando seguente per aggiungere una fase a un cluster in esecuzione. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  L'output è un identificatore di fase simile a quanto segue.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Per modificarli StepConcurrencyLevel in un cluster in esecuzione

1. In un cluster in esecuzione, puoi modificare il StepConcurrencyLevel con l'API ModifyCluster. Ad esempio, digita il comando seguente per aumentare StepConcurrencyLevel fino a 10. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. L'output è simile a quello riportato di seguito.

   {
   "StepConcurrencyLevel": 10
   }