를 사용하여 Amazon EMR 클러스터에 단계 추가 AWS CLI

클러스터 생성 중에 단계를 추가하려면

• 다음 명령을 입력하여 클러스터를 생성하고 Apache Pig 단계를 추가합니다. myKey를 Amazon EC2 키 페어 이름으로 바꿉니다.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  참고

  인수 목록은 단계 유형에 따라 변경됩니다.

  기본적으로 단계 동시성 레벨은 1입니다. 클러스터를 생성할 때 StepConcurrencyLevel 파라미터를 사용하여 단계 동시성 수준을 설정할 수 있습니다.

  다음과 비슷한 클러스터 식별자가 출력됩니다.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

실행 중인 클러스터에 단계를 추가하려면

• 다음 명령을 입력하여 실행 중인 클러스터에 단계를 추가합니다. j-2AXXXXXXGAPLF를 자체 클러스터 ID으로 바꿉니다.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  다음과 비슷한 단계 식별자가 출력됩니다.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

실행 중인 클러스터에서 StepConcurrencyLevel을 수정하려면

1. 실행 중인 클러스터에서 ModifyCluster API를 사용하여 StepConcurrencyLevel을 수정할 수 있습니다. 예를 들어 다음 명령을 입력하여 StepConcurrencyLevel을 10으로 높입니다. j-2AXXXXXXGAPLF를 클러스터 ID로 바꿉니다.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. 출력 결과는 다음과 비슷합니다.

   {
   "StepConcurrencyLevel": 10
   }