Aggiungere passaggi a un cluster Amazon EMR con AWS CLI - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Aggiungere passaggi a un cluster Amazon EMR con AWS CLI

Le seguenti procedure illustrano come aggiungere fasi a un cluster appena creato e a un cluster in esecuzione con la AWS CLI. In entrambi gli esempi, viene utilizzato il sottocomando --steps per aggiungere fasi al cluster.

Per aggiungere fasi durante la creazione del cluster
  • Digitare il comando seguente per creare un cluster e aggiungere una fase Apache Pig. Assicurati di sostituirlo myKey con il nome della tua coppia di EC2 chiavi Amazon.

    aws emr create-cluster --name "Test cluster" \ --applications Name=Spark \ --use-default-roles \ --ec2-attributes KeyName=myKey \ --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'
    Nota

    L'elenco di argomenti cambia in funzione del tipo di fase.

    Per impostazione predefinita, il livello di concorrenza delle fasi è 1. Puoi impostare il livello di simultaneità delle fasi utilizzando il parametro StepConcurrencyLevel quando crei un cluster.

    L'output è un identificatore di cluster simile a quanto segue.

    { "ClusterId": "j-2AXXXXXXGAPLF" }
Per aggiungere una fase a un cluster in esecuzione
  • Digitare il comando seguente per aggiungere una fase a un cluster in esecuzione. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

    aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

    L'output è un identificatore di fase simile a quanto segue.

    { "StepIds": [ "s-Y9XXXXXXAPMD" ] }
Per modificarli StepConcurrencyLevel in un cluster in esecuzione
  1. In un cluster in esecuzione, puoi modificare il StepConcurrencyLevel con l'API ModifyCluster. Ad esempio, digita il comando seguente per aumentare StepConcurrencyLevel fino a 10. Sostituisci j-2AXXXXXXGAPLF con l'ID del tuo cluster.

    aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10
  2. L'output è simile a quello riportato di seguito.

    { "StepConcurrencyLevel": 10 }

Per ulteriori informazioni sull'utilizzo dei comandi Amazon EMR in AWS CLI, consulta il AWS CLI Command Reference.