Aggiungere passaggi a un EMR cluster Amazon con AWS CLI

Per aggiungere fasi durante la creazione del cluster

• Digitare il comando seguente per creare un cluster e aggiungere una fase Apache Pig. Assicurati di sostituire myKey con il nome della tua coppia di EC2 chiavi Amazon.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  Nota

  L'elenco di argomenti cambia in funzione del tipo di fase.

  Per impostazione predefinita, il livello di concorrenza delle fasi è 1. Puoi impostare il livello di simultaneità delle fasi utilizzando il parametro StepConcurrencyLevel quando crei un cluster.

  L'output è un identificatore di cluster simile a quanto segue.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

Per aggiungere una fase a un cluster in esecuzione

• Digitare il comando seguente per aggiungere una fase a un cluster in esecuzione. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  L'output è un identificatore di fase simile a quanto segue.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Per modificarli StepConcurrencyLevel in un cluster in esecuzione

1. In un cluster in esecuzione, è possibile modificare il StepConcurrencyLevel file con ModifyClusterAPI. Ad esempio, digita il comando seguente per aumentare StepConcurrencyLevel fino a 10. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. L'output è simile a quello riportato di seguito.

   {
   "StepConcurrencyLevel": 10
   }