# AWS CLI を使用した Amazon EMR の例 次のコード例は、Amazon EMR で AWS Command Line Interface を使用してアクションを実行し、一般的なシナリオを実装する方法を示しています。 *アクション*はより大きなプログラムからのコードの抜粋であり、コンテキスト内で実行する必要があります。アクションは個々のサービス機能を呼び出す方法を示していますが、コンテキスト内のアクションは、関連するシナリオで確認できます。 各例には完全なソースコードへのリンクが含まれており、コードの設定方法と実行方法に関する手順を確認できます。 **Topics** + [アクション](#actions) ## アクション ### `add-instance-fleet` 次のコード例は、`add-instance-fleet` を使用する方法を示しています。 **AWS CLI** **タスクインスタンスフリートをクラスターに追加するには** この例では、指定されたクラスターに新しいタスクインスタンスフリートを追加します。 コマンド: ``` aws emr add-instance-fleet --cluster-id 'j-12ABCDEFGHI34JK' --instance-fleet InstanceFleetType=TASK,TargetSpotCapacity=1,LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=20,TimeoutAction=TERMINATE_CLUSTER}'},InstanceTypeConfigs=['{InstanceType=m3.xlarge,BidPrice=0.5}'] ``` 出力: ``` { "ClusterId": "j-12ABCDEFGHI34JK", "InstanceFleetId": "if-23ABCDEFGHI45JJ" } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[AddInstanceFleet](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/add-instance-fleet.html)」を参照してください。 ### `add-steps` 次のコード例は、`add-steps` を使用する方法を示しています。 **AWS CLI** **1. クラスターにカスタム JAR ステップを追加するには** コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,Args=arg1,arg2,arg3 Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,MainClass=mymainclass,Args=arg1,arg2,arg3 ``` 必須パラメータ: ``` Jar ``` 任意指定のパラメータ: ``` Type, Name, ActionOnFailure, Args ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", "s-YYYYYYYY" ] } ``` **2. ストリーミングステップをクラスターに追加するには** コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=STREAMING,Name='Streaming Program',ActionOnFailure=CONTINUE,Args=[-files,s3://elasticmapreduce/samples/wordcount/wordSplitter.py,-mapper,wordSplitter.py,-reducer,aggregate,-input,s3://elasticmapreduce/samples/wordcount/input,-output,s3://amzn-s3-demo-bucket/wordcount/output] ``` 必須パラメータ: ``` Type, Args ``` 任意指定のパラメータ: ``` Name, ActionOnFailure ``` JSON と同等のもの (Step.json の内容): ``` [ { "Name": "JSON Streaming Step", "Args": ["-files","s3://elasticmapreduce/samples/wordcount/wordSplitter.py","-mapper","wordSplitter.py","-reducer","aggregate","-input","s3://elasticmapreduce/samples/wordcount/input","-output","s3://amzn-s3-demo-bucket/wordcount/output"], "ActionOnFailure": "CONTINUE", "Type": "STREAMING" } ] ``` 注: JSON 引数には、リスト内の独自の項目としてオプションと値を含める必要があります。 コマンド (step.json を使用): ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps file://./step.json ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", "s-YYYYYYYY" ] } ``` **3. 複数のファイルを含むストリーミングステップをクラスターに追加するには (JSON のみ)** JSON (multiplefiles.json): ``` [ { "Name": "JSON Streaming Step", "Type": "STREAMING", "ActionOnFailure": "CONTINUE", "Args": [ "-files", "s3://amzn-s3-demo-bucket/mapper.py,s3://amzn-s3-demo-bucket/reducer.py", "-mapper", "mapper.py", "-reducer", "reducer.py", "-input", "s3://amzn-s3-demo-bucket/input", "-output", "s3://amzn-s3-demo-bucket/output"] } ] ``` コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps file://./multiplefiles.json ``` 必須パラメータ: ``` Type, Args ``` 任意指定のパラメータ: ``` Name, ActionOnFailure ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", ] } ``` **4. クラスターに Hive ステップを追加するには** コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=HIVE,Name='Hive program',ActionOnFailure=CONTINUE,Args=[-f,s3://amzn-s3-demo-bucket/myhivescript.q,-d,INPUT=s3://amzn-s3-demo-bucket/myhiveinput,-d,OUTPUT=s3://amzn-s3-demo-bucket/myhiveoutput,arg1,arg2] Type=HIVE,Name='Hive steps',ActionOnFailure=TERMINATE_CLUSTER,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/model-build.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/2014-04-18/11-07-32,-d,LIBS=s3://elasticmapreduce/samples/hive-ads/libs] ``` 必須パラメータ: ``` Type, Args ``` 任意指定のパラメータ: ``` Name, ActionOnFailure ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", "s-YYYYYYYY" ] } ``` **5. クラスターに Pig ステップを追加するには** コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=PIG,Name='Pig program',ActionOnFailure=CONTINUE,Args=[-f,s3://amzn-s3-demo-bucket/mypigscript.pig,-p,INPUT=s3://amzn-s3-demo-bucket/mypiginput,-p,OUTPUT=s3://amzn-s3-demo-bucket/mypigoutput,arg1,arg2] Type=PIG,Name='Pig program',Args=[-f,s3://elasticmapreduce/samples/pig-apache/do-reports2.pig,-p,INPUT=s3://elasticmapreduce/samples/pig-apache/input,-p,OUTPUT=s3://amzn-s3-demo-bucket/pig-apache/output,arg1,arg2] ``` 必須パラメータ: ``` Type, Args ``` 任意指定のパラメータ: ``` Name, ActionOnFailure ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", "s-YYYYYYYY" ] } ``` **6. Impala ステップをクラスターに追加するには** コマンド: ``` aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=IMPALA,Name='Impala program',ActionOnFailure=CONTINUE,Args=--impala-script,s3://myimpala/input,--console-output-path,s3://myimpala/output ``` 必須パラメータ: ``` Type, Args ``` 任意指定のパラメータ: ``` Name, ActionOnFailure ``` 出力: ``` { "StepIds":[ "s-XXXXXXXX", "s-YYYYYYYY" ] } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[AddSteps](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/add-steps.html)」を参照してください。 ### `add-tags` 次のコード例は、`add-tags` を使用する方法を示しています。 **AWS CLI** **1. クラスターにタグを追加するには** コマンド: ``` aws emr add-tags --resource-id j-xxxxxxx --tags name="John Doe" age=29 sex=male address="123 East NW Seattle" ``` 出力: ``` None ``` **2. クラスターのタグを一覧表示するには** --コマンド: ``` aws emr describe-cluster --cluster-id j-XXXXXXYY --query Cluster.Tags ``` 出力: ``` [ { "Value": "male", "Key": "sex" }, { "Value": "123 East NW Seattle", "Key": "address" }, { "Value": "John Doe", "Key": "name" }, { "Value": "29", "Key": "age" } ] ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[AddTags](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/add-tags.html)」を参照してください。 ### `create-cluster-examples` 次のコード例は、`create-cluster-examples` を使用する方法を示しています。 **AWS CLI** 次の例のほとんどは、Amazon EMR サービスロールと Amazon EC2 インスタンスプロファイルを指定していることを前提としています。これを行っていない場合は、必要な各 IAM ロールを指定するか、クラスターの作成時に `--use-default-roles` パラメータを使用する必要があります。IAM ロールの指定に関する詳細については、「*Amazon EMR 管理ガイド*」の「[AWS サービスに Amazon EMR アクセス許可の IAM ロールを設定する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html)」を参照してください。 **例 1: クラスターを作成するには** 以下の `create-cluster` の例は、シンプルな EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.14.0 \ --instance-type m4.large \ --instance-count 2 ``` このコマンドでは何も出力されません。 **例 2: デフォルトの ServiceRole ロールと InstanceProfile ロールを使用して Amazon EMR クラスターを作成するには** 次の `create-cluster` の例では、`--instance-groups` 設定を使用する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.14.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` **例 3: インスタンスフリートを使用する Amazon EMR クラスターを作成するには** 次の `create-cluster` の例では、`--instance-fleets` 設定を使用する Amazon EMR クラスターを作成し、フリートごとに 2 つのインスタンスタイプと 2 つの EC2 サブネットを指定します。 ``` aws emr create-cluster \ --release-label emr-5.14.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c','subnet-de67890f'] \ --instance-fleets InstanceFleetType=MASTER,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m4.large}'] InstanceFleetType=CORE,TargetSpotCapacity=11,InstanceTypeConfigs=['{InstanceType=m4.large,BidPrice=0.5,WeightedCapacity=3}','{InstanceType=m4.2xlarge,BidPrice=0.9,WeightedCapacity=5}'],LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=120,TimeoutAction=SWITCH_TO_ON_DEMAND}'} ``` **例 4: デフォルトロールを使用してクラスターを作成するには** 次の `create-cluster` 例では、`--use-default-roles` パラメータを使用して、デフォルトのサービスロールとインスタンスプロファイルを指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --use-default-roles \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 5: クラスターを作成し、インストールするアプリケーションを指定するには** 次の `create-cluster` の例では、`--applications` パラメータを使用して、Amazon EMR がインストールするアプリケーションを指定します。この例では、Hadoop、Hive、Pig をインストールします。 ``` aws emr create-cluster \ --applications Name=Hadoop Name=Hive Name=Pig \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 6: Spark を含むクラスターを作成するには** 次の例では、Spark をインストールします。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 7: クラスターインスタンスに使用するカスタム AMI を指定するには** 次の `create-cluster` の例では、ID `ami-a518e6df` を持つ Amazon Linux AMI に基づいてクラスターインスタンスを作成します。 ``` aws emr create-cluster \ --name "Cluster with My Custom AMI" \ --custom-ami-id ami-a518e6df \ --ebs-root-volume-size 20 \ --release-label emr-5.9.0 \ --use-default-roles \ --instance-count 2 \ --instance-type m4.large ``` **例 8: アプリケーション設定をカスタマイズするには** 次の例では、`--configurations` パラメータを使用して、Hadoop のアプリケーションのカスタマイズを含む JSON 設定ファイルを指定します。詳細については、*Amazon EMR リリースガイド*の「[アプリケーションの設定](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html)」を参照してください。 `configurations.json` の内容: ``` [ { "Classification": "mapred-site", "Properties": { "mapred.tasktracker.map.tasks.maximum": 2 } }, { "Classification": "hadoop-env", "Properties": {}, "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": 2048, "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" } } ] } ] ``` 以下の例では、ローカルファイルとして `configurations.json` を参照します。 ``` aws emr create-cluster \ --configurations file://configurations.json \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` 次の例では、Amazon S3 のファイルとして `configurations.json` を参照します。 ``` aws emr create-cluster \ --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/configurations.json \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 9: マスター、コア、タスクインスタンスグループを使用してクラスターを作成するには** 次の `create-cluster` の例では、`--instance-groups` を使用して、マスター、コア、タスクインスタンスグループに使用する EC2 インスタンスのタイプと数を指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --instance-groups Name=Master,InstanceGroupType=MASTER,InstanceType=m4.large,InstanceCount=1 Name=Core,InstanceGroupType=CORE,InstanceType=m4.large,InstanceCount=2 Name=Task,InstanceGroupType=TASK,InstanceType=m4.large,InstanceCount=2 ``` **例 10: すべてのステップを完了した後にクラスターを終了するように指定するには** 次の `create-cluster` 例では、`--auto-terminate` を使用して、すべてのステップを完了した後にクラスターを自動的にシャットダウンするように指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 11: Amazon EC2 キーペア、ネットワーク設定、セキュリティグループなどのクラスター設定の詳細を指定するには** 次の `create-cluster` の例では、`myKey` という名前の Amazon EC2 キーペアと `myProfile` という名前のカスタマイズされたインスタンスプロファイルを持つクラスターを作成します。キーペアは、クラスターノード、ほとんどの場合プライマリノードへの SSH 接続を承認するために使用されます。詳細は、「*Amazon EMR 管理ガイド*」の「[SSH 認証情報に EC2 キーペアを使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-access-ssh.html)」を参照してください。 ``` aws emr create-cluster \ --ec2-attributes KeyName=myKey,InstanceProfile=myProfile \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` 次の例では、Amazon VPC サブネットにクラスターを作成します。 ``` aws emr create-cluster \ --ec2-attributes SubnetId=subnet-xxxxx \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` 次の例では、`us-east-1b` アベイラビリティーゾーンにクラスターを作成します。 ``` aws emr create-cluster \ --ec2-attributes AvailabilityZone=us-east-1b \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の例では、クラスターを作成し、Amazon EMR マネージドセキュリティグループのみを指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role myServiceRole \ --ec2-attributes InstanceProfile=myRole,EmrManagedMasterSecurityGroup=sg-master1,EmrManagedSlaveSecurityGroup=sg-slave1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の例では、クラスターを作成し、追加の Amazon EC2 セキュリティグループのみを指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role myServiceRole \ --ec2-attributes InstanceProfile=myRole,AdditionalMasterSecurityGroups=[sg-addMaster1,sg-addMaster2,sg-addMaster3,sg-addMaster4],AdditionalSlaveSecurityGroups=[sg-addSlave1,sg-addSlave2,sg-addSlave3,sg-addSlave4] \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の例では、クラスターを作成し、EMR マネージドセキュリティグループと追加のセキュリティグループを指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role myServiceRole \ --ec2-attributes InstanceProfile=myRole,EmrManagedMasterSecurityGroup=sg-master1,EmrManagedSlaveSecurityGroup=sg-slave1,AdditionalMasterSecurityGroups=[sg-addMaster1,sg-addMaster2,sg-addMaster3,sg-addMaster4],AdditionalSlaveSecurityGroups=[sg-addSlave1,sg-addSlave2,sg-addSlave3,sg-addSlave4] \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の例では、VPC プライベートサブネットにクラスターを作成し、特定の Amazon EC2 セキュリティグループを使用して Amazon EMR サービスアクセスを有効にします。これは、プライベートサブネットのクラスターに必要です。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role myServiceRole \ --ec2-attributes InstanceProfile=myRole,ServiceAccessSecurityGroup=sg-service-access,EmrManagedMasterSecurityGroup=sg-master,EmrManagedSlaveSecurityGroup=sg-slave \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の例では、ローカルに保存されている `ec2_attributes.json` という名前の JSON ファイルを使用してセキュリティグループ設定パラメータを指定します。注: JSON 引数には、リスト内の独自の項目としてオプションと値を含める必要があります。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role myServiceRole \ --ec2-attributes file://ec2_attributes.json \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` `ec2_attributes.json` の内容: ``` [ { "SubnetId": "subnet-xxxxx", "KeyName": "myKey", "InstanceProfile":"myRole", "EmrManagedMasterSecurityGroup": "sg-master1", "EmrManagedSlaveSecurityGroup": "sg-slave1", "ServiceAccessSecurityGroup": "sg-service-access", "AdditionalMasterSecurityGroups": ["sg-addMaster1","sg-addMaster2","sg-addMaster3","sg-addMaster4"], "AdditionalSlaveSecurityGroups": ["sg-addSlave1","sg-addSlave2","sg-addSlave3","sg-addSlave4"] } ] ``` **例 12: デバッグを有効にしてログ URI を指定するには** 次の `create-cluster` の例では、`--enable-debugging` パラメータを使用しており、Amazon EMR コンソールのデバッグツールを使用してログファイルをより簡単に表示できます。`--log-uri` パラメータは `--enable-debugging` で必須です。 ``` aws emr create-cluster \ --enable-debugging \ --log-uri s3://amzn-s3-demo-bucket/myLog \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 13: クラスターの作成時にタグを追加するには** タグは、クラスターの特定と管理に役立つキーと値のペアです。次の `create-cluster` の例では、`--tags` パラメータを使用してクラスターに 3 つのタグを作成します。1 つ目はキー名 `name` と値 `Shirley Rodriguez`、2 つ目はキー名 `age` と値 `29`、3 つ目のタグはキー名 `department` と値 `Analytics` です。 ``` aws emr create-cluster \ --tags name="Shirley Rodriguez" age=29 department="Analytics" \ --release-label emr-5.32.0 \ --instance-type m5.xlarge \ --instance-count 3 \ --use-default-roles ``` 次の例では、クラスターに適用されるタグを一覧表示します。 ``` aws emr describe-cluster \ --cluster-id j-XXXXXXYY \ --query Cluster.Tags ``` **例 14: 暗号化やその他のセキュリティ機能を有効にするセキュリティ設定を使用するには** 次の `create-cluster` の例では、`--security-configuration` パラメータを使用して EMR クラスターのセキュリティ設定を指定します。Amazon EMR バージョン 4.8.0 以降では、セキュリティ設定を使用できます。 ``` aws emr create-cluster \ --instance-type m4.large \ --release-label emr-5.9.0 \ --security-configuration mySecurityConfiguration ``` **例 15: インスタンスグループに設定された追加の EBS ストレージボリュームを持つクラスターを作成するには** 追加の EBS ボリュームを指定する場合は、次の引数が必要です。`EbsBlockDeviceConfigs` が指定されている場合、`VolumeType`、`SizeInGB`。 次の `create-cluster` の例では、コアインスタンスグループの EC2 インスタンスに複数の EBS ボリュームがアタッチされたクラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --use-default-roles \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=d2.xlarge 'InstanceGroupType=CORE,InstanceCount=2,InstanceType=d2.xlarge,EbsConfiguration={EbsOptimized=true,EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=gp2,SizeInGB=100}},{VolumeSpecification={VolumeType=io1,SizeInGB=100,Iops=100},VolumesPerInstance=4}]}' \ --auto-terminate ``` 次の例では、マスターインスタンスグループの EC2 インスタンスに複数の EBS ボリュームがアタッチされたクラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --use-default-roles \ --instance-groups 'InstanceGroupType=MASTER, InstanceCount=1, InstanceType=d2.xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1, SizeInGB=100, Iops=100}},{VolumeSpecification={VolumeType=standard,SizeInGB=50},VolumesPerInstance=3}]}' InstanceGroupType=CORE,InstanceCount=2,InstanceType=d2.xlarge \ --auto-terminate ``` **例 16: 自動スケーリングポリシーを使用してクラスターを作成するには** Amazon EMR バージョン 4.0 以降を使用して、コアインスタンスグループとタスクインスタンスグループに自動スケーリングポリシーをアタッチできます。自動スケーリングポリシーは、Amazon CloudWatch メトリクスに応答して EC2 インスタンスを動的に追加および削除します。詳細については、「*Amazon EMR 管理ガイド*」の「Amazon EMR で自動スケーリングを使用する `\$1」を参照してください。 自動スケーリングポリシーをアタッチする場合は、`--auto-scaling-role EMR_AutoScaling_DefaultRole` を使用して自動スケーリングのデフォルトロールを指定する必要があります。 次の `create-cluster` の例では、スケーリングポリシー設定を指定する JSON 構造が埋め込まれた `AutoScalingPolicy` 引数を使用して、`CORE` インスタンスグループの自動スケーリングポリシーを指定します。JSON 構造が埋め込まれたインスタンスグループには、引数のコレクション全体が一重引用符で囲まれている必要があります。JSON 構造が埋め込まれていないインスタンスグループでは、単一引用符の使用はオプションです。 ``` aws emr create-cluster --release-label emr-5.9.0 \ --use-default-roles --auto-scaling-role EMR_AutoScaling_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceType=d2.xlarge,InstanceCount=1 'InstanceGroupType=CORE,InstanceType=d2.xlarge,InstanceCount=2,AutoScalingPolicy={Constraints={MinCapacity=1,MaxCapacity=5},Rules=[{Name=TestRule,Description=TestDescription,Action={Market=ON_DEMAND,SimpleScalingPolicyConfiguration={AdjustmentType=EXACT_CAPACITY,ScalingAdjustment=2}},Trigger={CloudWatchAlarmDefinition={ComparisonOperator=GREATER_THAN,EvaluationPeriods=5,MetricName=TestMetric,Namespace=EMR,Period=3,Statistic=MAXIMUM,Threshold=4.5,Unit=NONE,Dimensions=[{Key=TestKey,Value=TestValue}]}}}]}' ``` 次の例では、JSON ファイルの `instancegroupconfig.json` を使用して、クラスター内のすべてのインスタンスグループの設定を指定します。JSON ファイルは、コアインスタンスグループの自動スケーリングポリシー設定を指定します。 ``` aws emr create-cluster \ --release-label emr-5.9.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups file://myfolder/instancegroupconfig.json \ --auto-scaling-role EMR_AutoScaling_DefaultRole ``` `instancegroupconfig.json` の内容: ``` [ { "InstanceCount": 1, "Name": "MyMasterIG", "InstanceGroupType": "MASTER", "InstanceType": "m4.large" }, { "InstanceCount": 2, "Name": "MyCoreIG", "InstanceGroupType": "CORE", "InstanceType": "m4.large", "AutoScalingPolicy": { "Constraints": { "MinCapacity": 2, "MaxCapacity": 10 }, "Rules": [ { "Name": "Default-scale-out", "Description": "Replicates the default scale-out rule in the console for YARN memory.", "Action": { "SimpleScalingPolicyConfiguration": { "AdjustmentType": "CHANGE_IN_CAPACITY", "ScalingAdjustment": 1, "CoolDown": 300 } }, "Trigger": { "CloudWatchAlarmDefinition": { "ComparisonOperator": "LESS_THAN", "EvaluationPeriods": 1, "MetricName": "YARNMemoryAvailablePercentage", "Namespace": "AWS/ElasticMapReduce", "Period": 300, "Threshold": 15, "Statistic": "AVERAGE", "Unit": "PERCENT", "Dimensions": [ { "Key": "JobFlowId", "Value": "${emr.clusterId}" } ] } } } ] } } ] ``` **例 17: クラスターを作成するときにカスタム JAR ステップを追加する** 次の `create-cluster` の例では、Amazon S3 に保存されている JAR ファイルを指定してステップを追加します。ステップではクラスターに作業を送信します。JAR ファイルで定義されたメイン関数は、EC2 インスタンスがプロビジョニングされ、ブートストラップアクションが実行され、アプリケーションがインストールされた後に実行されます。これらのステップは `Type=CUSTOM_JAR` を使用して指定します。 カスタム JAR ステップには、JAR のパスとファイル名を指定する `Jar=` パラメータが必要です。オプションのパラメータは、`Type`、`Name`、`Args`、`ActionOnFailure`、および `MainClass` です。メインクラスを指定しない場合、JAR ファイルはマニフェストファイルで `Main-Class` を指定する必要があります。 ``` aws emr create-cluster \ --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,Args=arg1,arg2,arg3 Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,MainClass=mymainclass,Args=arg1,arg2,arg3 \ --release-label emr-5.3.1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 18: クラスターの作成時にストリーミングステップを追加するには** 次の `create-cluster` の例では、すべてのステップの実行後に終了するストリーミングステップをクラスターに追加します。ストリーミングステップにはパラメータ `Type` と `Args` が必要です。ストリーミングステップのオプションパラメータは `Name` および `ActionOnFailure` です。 次の例はステップインラインを指定します。 ``` aws emr create-cluster \ --steps Type=STREAMING,Name='Streaming Program',ActionOnFailure=CONTINUE,Args=[-files,s3://elasticmapreduce/samples/wordcount/wordSplitter.py,-mapper,wordSplitter.py,-reducer,aggregate,-input,s3://elasticmapreduce/samples/wordcount/input,-output,s3://amzn-s3-demo-bucket/wordcount/output] \ --release-label emr-5.3.1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` 次の例では、`multiplefiles.json` という名前のローカルに保存された JSON 設定ファイルを使用します。JSON 設定では、複数のファイルを指定します。ステップ内で複数のファイルを指定するには、JSON 設定ファイルを使用してステップを指定する必要があります。JSON 引数には、リスト内の独自の項目としてオプションと値を含める必要があります。 ``` aws emr create-cluster \ --steps file://./multiplefiles.json \ --release-label emr-5.9.0 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` `multiplefiles.json` の内容: ``` [ { "Name": "JSON Streaming Step", "Args": [ "-files", "s3://elasticmapreduce/samples/wordcount/wordSplitter.py", "-mapper", "wordSplitter.py", "-reducer", "aggregate", "-input", "s3://elasticmapreduce/samples/wordcount/input", "-output", "s3://amzn-s3-demo-bucket/wordcount/output" ], "ActionOnFailure": "CONTINUE", "Type": "STREAMING" } ] ``` **例 19: クラスターの作成時に Hive ステップを追加するには** 次の例では、クラスターを作成するときに Hive ステップを追加します。Hive ステップには、パラメータ `Type` と `Args` が必要です。Hive ステップのオプションパラメータは `Name` と `ActionOnFailure`です。 ``` aws emr create-cluster \ --steps Type=HIVE,Name='Hive program',ActionOnFailure=CONTINUE,ActionOnFailure=TERMINATE_CLUSTER,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/model-build.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/2014-04-18/11-07-32,-d,LIBS=s3://elasticmapreduce/samples/hive-ads/libs] \ --applications Name=Hive \ --release-label emr-5.3.1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` **例 20: クラスターの作成時に Pig ステップを追加するには** 次の例では、クラスターを作成するときに Pig ステップを追加します。Pig ステップに必要なパラメータは `Type` と `Args` です。Pig ステップのオプションパラメータは `Name` と `ActionOnFailure` です。 ``` aws emr create-cluster \ --steps Type=PIG,Name='Pig program',ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/pig-apache/do-reports2.pig,-p,INPUT=s3://elasticmapreduce/samples/pig-apache/input,-p,OUTPUT=s3://amzn-s3-demo-bucket/pig-apache/output] \ --applications Name=Pig \ --release-label emr-5.3.1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` **例 21: ブートストラップアクションを追加するには** 次の `create-cluster` の例では、Amazon S3 に保存されているスクリプトとして定義された 2 つのブートストラップアクションを実行します。 ``` aws emr create-cluster \ --bootstrap-actions Path=s3://amzn-s3-demo-bucket/myscript1,Name=BootstrapAction1,Args=[arg1,arg2] Path=s3://amzn-s3-demo-bucket/myscript2,Name=BootstrapAction2,Args=[arg1,arg2] \ --release-label emr-5.3.1 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large \ --auto-terminate ``` **例 22: EMRFS の一貫性のあるビューを有効にし、RetryCount と RetryPeriod の設定をカスタマイズするには** 次の `create-cluster` の例では、EMRFS の一貫性のあるビューの再試行回数と再試行期間を指定します。`Consistent=true` 引数が必要です。 ``` aws emr create-cluster \ --instance-type m4.large \ --release-label emr-5.9.0 \ --emrfs Consistent=true,RetryCount=6,RetryPeriod=30 ``` 次の例では、`emrfsconfig.json` という名前のローカルに保存された JSON 設定ファイルを使用して、前の例と同じ EMRFS 設定を指定します。 ``` aws emr create-cluster \ --instance-type m4.large \ --release-label emr-5.9.0 \ --emrfs file://emrfsconfig.json ``` `emrfsconfig.json` の内容: ``` { "Consistent": true, "RetryCount": 6, "RetryPeriod": 30 } ``` **例 23: Kerberos が設定されたクラスターを作成するには** 次の `create-cluster` の例では、Kerberos を有効にしたセキュリティ設定を使用してクラスターを作成し、`--kerberos-attributes` を使用してクラスターの Kerberos パラメータを確立します。 次のコマンドは、クラスターの Kerberos 属性をインラインで指定します。 ``` aws emr create-cluster \ --instance-type m3.xlarge \ --release-label emr-5.10.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --security-configuration mySecurityConfiguration \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=123,CrossRealmTrustPrincipalPassword=123 ``` 次のコマンドは同じ属性を指定しますが、`kerberos_attributes.json` という名前のローカルに保存された JSON ファイルを参照します。この例では、ファイルはコマンドを実行するディレクトリに保存されます。Amazon S3 に保存されている設定ファイルを参照することもできます。 ``` aws emr create-cluster \ --instance-type m3.xlarge \ --release-label emr-5.10.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --security-configuration mySecurityConfiguration \ --kerberos-attributes file://kerberos_attributes.json ``` `kerberos_attributes.json` の内容: ``` { "Realm": "EC2.INTERNAL", "KdcAdminPassword": "123", "CrossRealmTrustPrincipalPassword": "123", } ``` 次の `create-cluster` の例では、`--instance-groups` 設定を使用し、マネージドスケーリングポリシーを持つ Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.30.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large --managed-scaling-policy ComputeLimits='{MinimumCapacityUnits=2,MaximumCapacityUnits=4,UnitType=Instances}' ``` 次の `create-cluster` の例では、「--log-encryption-kms-key-id」を使用して、ログ暗号化に使用される KMS キー ID を定義する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.30.0 \ --log-uri s3://amzn-s3-demo-bucket/myLog \ --log-encryption-kms-key-id arn:aws:kms:us-east-1:110302272565:key/dd559181-283e-45d7-99d1-66da348c4d33 \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large ``` 次の `create-cluster` の例では、「-placement-group-configs」設定を使用して、`SPREAD` プレイスメント戦略を使用して EC2 プレイスメントグループ内の高可用性 (HA) クラスターにプライマリノードを配置する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.30.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m4.largeInstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.large \ --placement-group-configs InstanceRole=MASTER ``` 次の `create-cluster` の例では、「--auto-termination-policy」設定を使用してクラスターの自動アイドル終了しきい値を配置する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-5.34.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.large \ --auto-termination-policy IdleTimeout=100 ``` 次の `create-cluster` の例では、「--os-release-label」を使用してクラスター起動用の Amazon Linux リリースを定義する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --release-label emr-6.6.0 \ --os-release-label 2.0.20220406.1 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.large ``` **例 24: EMR リリース 6.15.0 以降で作成されたクラスターインスタンスのサイズ、iops、スループットの EBS ルートボリューム属性を指定するには** 次の `create-cluster` の例では、ルートボリューム属性を使用して EC2 インスタンスのルートボリューム仕様を設定する Amazon EMR クラスターを作成します。 ``` aws emr create-cluster \ --name "Cluster with My Custom AMI" \ --custom-ami-id ami-a518e6df \ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000 \ --ebs-root-volume-throughput 125 \ --release-label emr-6.15.0 \ --use-default-roles \ --instance-count 2 \ --instance-type m4.large ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[CreateClusterExamples](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/create-cluster-examples.html)」を参照してください。 ### `create-default-roles` 次のコード例は、`create-default-roles` を使用する方法を示しています。 **AWS CLI** **1. EC2 のデフォルトの IAM ロールを作成するには** コマンド: ``` aws emr create-default-roles ``` 出力: ``` If the role already exists then the command returns nothing. If the role does not exist then the output will be: [ { "RolePolicy": { "Version":"2012-10-17", "Statement": [ { "Action": [ "cloudwatch:*", "dynamodb:*", "ec2:Describe*", "elasticmapreduce:Describe*", "elasticmapreduce:ListBootstrapActions", "elasticmapreduce:ListClusters", "elasticmapreduce:ListInstanceGroups", "elasticmapreduce:ListInstances", "elasticmapreduce:ListSteps", "kinesis:CreateStream", "kinesis:DeleteStream", "kinesis:DescribeStream", "kinesis:GetRecords", "kinesis:GetShardIterator", "kinesis:MergeShards", "kinesis:PutRecord", "kinesis:SplitShard", "rds:Describe*", "s3:*", "sdb:*", "sns:*", "sqs:*" ], "Resource": "*", "Effect": "Allow" } ] }, "Role": { "AssumeRolePolicyDocument": { "Version":"2012-10-17", "Statement": [ { "Action": "sts:AssumeRole", "Sid": "", "Effect": "Allow", "Principal": { "Service": "ec2.amazonaws.com" } } ] }, "RoleId": "AROAIQ5SIQUGL5KMYBJX6", "CreateDate": "2015-06-09T17:09:04.602Z", "RoleName": "EMR_EC2_DefaultRole", "Path": "/", "Arn": "arn:aws:iam::176430881729:role/EMR_EC2_DefaultRole" } }, { "RolePolicy": { "Version":"2012-10-17", "Statement": [ { "Action": [ "ec2:AuthorizeSecurityGroupIngress", "ec2:CancelSpotInstanceRequests", "ec2:CreateSecurityGroup", "ec2:CreateTags", "ec2:DeleteTags", "ec2:DescribeAvailabilityZones", "ec2:DescribeAccountAttributes", "ec2:DescribeInstances", "ec2:DescribeInstanceStatus", "ec2:DescribeKeyPairs", "ec2:DescribePrefixLists", "ec2:DescribeRouteTables", "ec2:DescribeSecurityGroups", "ec2:DescribeSpotInstanceRequests", "ec2:DescribeSpotPriceHistory", "ec2:DescribeSubnets", "ec2:DescribeVpcAttribute", "ec2:DescribeVpcEndpoints", "ec2:DescribeVpcEndpointServices", "ec2:DescribeVpcs", "ec2:ModifyImageAttribute", "ec2:ModifyInstanceAttribute", "ec2:RequestSpotInstances", "ec2:RunInstances", "ec2:TerminateInstances", "iam:GetRole", "iam:GetRolePolicy", "iam:ListInstanceProfiles", "iam:ListRolePolicies", "iam:PassRole", "s3:CreateBucket", "s3:Get*", "s3:List*", "sdb:BatchPutAttributes", "sdb:Select", "sqs:CreateQueue", "sqs:Delete*", "sqs:GetQueue*", "sqs:ReceiveMessage" ], "Resource": "*", "Effect": "Allow" } ] }, "Role": { "AssumeRolePolicyDocument": { "Version":"2012-10-17", "Statement": [ { "Action": "sts:AssumeRole", "Sid": "", "Effect": "Allow", "Principal": { "Service": "elasticmapreduce.amazonaws.com" } } ] }, "RoleId": "AROAI3SRVPPVSRDLARBPY", "CreateDate": "2015-06-09T17:09:10.401Z", "RoleName": "EMR_DefaultRole", "Path": "/", "Arn": "arn:aws:iam::176430881729:role/EMR_DefaultRole" } } ] ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[CreateDefaultRoles](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/create-default-roles.html)」を参照してください。 ### `create-security-configuration` 次のコード例は、`create-security-configuration` を使用する方法を示しています。 **AWS CLI** **1. 証明書プロバイダーの PEM で転送中の暗号化を有効にし、SSE-S3 で S3 暗号化を有効にし、ローカルディスクキープロバイダーの AWS-KMS で保管時の S3 暗号化を有効にしたセキュリティ設定を作成するには** コマンド: ``` aws emr create-security-configuration --name MySecurityConfig --security-configuration '{ "EncryptionConfiguration": { "EnableInTransitEncryption" : true, "EnableAtRestEncryption" : true, "InTransitEncryptionConfiguration" : { "TLSCertificateConfiguration" : { "CertificateProviderType" : "PEM", "S3Object" : "s3://mycertstore/artifacts/MyCerts.zip" } }, "AtRestEncryptionConfiguration" : { "S3EncryptionConfiguration" : { "EncryptionMode" : "SSE-S3" }, "LocalDiskEncryptionConfiguration" : { "EncryptionKeyProviderType" : "AwsKms", "AwsKmsKey" : "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012" } } } }' ``` 出力: ``` { "CreationDateTime": 1474070889.129, "Name": "MySecurityConfig" } ``` JSON と同等のもの (security\$1configuration.json の内容): ``` { "EncryptionConfiguration": { "EnableInTransitEncryption": true, "EnableAtRestEncryption": true, "InTransitEncryptionConfiguration": { "TLSCertificateConfiguration": { "CertificateProviderType": "PEM", "S3Object": "s3://mycertstore/artifacts/MyCerts.zip" } }, "AtRestEncryptionConfiguration": { "S3EncryptionConfiguration": { "EncryptionMode": "SSE-S3" }, "LocalDiskEncryptionConfiguration": { "EncryptionKeyProviderType": "AwsKms", "AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012" } } } } ``` コマンド (security\$1configuration.json を使用): ``` aws emr create-security-configuration --name "MySecurityConfig" --security-configuration file://./security_configuration.json ``` 出力: ``` { "CreationDateTime": 1474070889.129, "Name": "MySecurityConfig" } ``` **2. クラスター専用 KDC とクロスレルム信頼を使用して Kerberos を有効にしてセキュリティ設定を作成するには** コマンド: ``` aws emr create-security-configuration --name MySecurityConfig --security-configuration '{ "AuthenticationConfiguration": { "KerberosConfiguration": { "Provider": "ClusterDedicatedKdc", "ClusterDedicatedKdcConfiguration": { "TicketLifetimeInHours": 24, "CrossRealmTrustConfiguration": { "Realm": "AD.DOMAIN.COM", "Domain": "ad.domain.com", "AdminServer": "ad.domain.com", "KdcServer": "ad.domain.com" } } } } }' ``` 出力: ``` { "CreationDateTime": 1490225558.982, "Name": "MySecurityConfig" } ``` JSON と同等のもの (security\$1configuration.json の内容): ``` { "AuthenticationConfiguration": { "KerberosConfiguration": { "Provider": "ClusterDedicatedKdc", "ClusterDedicatedKdcConfiguration": { "TicketLifetimeInHours": 24, "CrossRealmTrustConfiguration": { "Realm": "AD.DOMAIN.COM", "Domain": "ad.domain.com", "AdminServer": "ad.domain.com", "KdcServer": "ad.domain.com" } } } } } ``` コマンド (security\$1configuration.json を使用): ``` aws emr create-security-configuration --name "MySecurityConfig" --security-configuration file://./security_configuration.json ``` 出力: ``` { "CreationDateTime": 1490225558.982, "Name": "MySecurityConfig" } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[CreateSecurityConfiguration](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/create-security-configuration.html)」を参照してください。 ### `delete-security-configuration` 次のコード例は、`delete-security-configuration` を使用する方法を示しています。 **AWS CLI** **現在のリージョンのセキュリティ設定を削除するには** コマンド: ``` aws emr delete-security-configuration --name MySecurityConfig ``` 出力: ``` None ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[DeleteSecurityConfiguration](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/delete-security-configuration.html)」を参照してください。 ### `describe-cluster` 次のコード例は、`describe-cluster` を使用する方法を示しています。 **AWS CLI** コマンド: ``` aws emr describe-cluster --cluster-id j-XXXXXXXX ``` 出力: ``` For release-label based uniform instance groups cluster: { "Cluster": { "Status": { "Timeline": { "ReadyDateTime": 1436475075.199, "CreationDateTime": 1436474656.563, }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting for steps to run" } }, "Ec2InstanceAttributes": { "ServiceAccessSecurityGroup": "sg-xxxxxxxx", "EmrManagedMasterSecurityGroup": "sg-xxxxxxxx", "IamInstanceProfile": "EMR_EC2_DefaultRole", "Ec2KeyName": "myKey", "Ec2AvailabilityZone": "us-east-1c", "EmrManagedSlaveSecurityGroup": "sg-yyyyyyyyy" }, "Name": "My Cluster", "ServiceRole": "EMR_DefaultRole", "Tags": [], "TerminationProtected": true, "UnhealthyNodeReplacement": true, "ReleaseLabel": "emr-4.0.0", "NormalizedInstanceHours": 96, "InstanceGroups": [ { "RequestedInstanceCount": 2, "Status": { "Timeline": { "ReadyDateTime": 1436475074.245, "CreationDateTime": 1436474656.564, "EndDateTime": 1436638158.387 }, "State": "RUNNING", "StateChangeReason": { "Message": "", } }, "Name": "CORE", "InstanceGroupType": "CORE", "Id": "ig-YYYYYYY", "Configurations": [], "InstanceType": "m3.large", "Market": "ON_DEMAND", "RunningInstanceCount": 2 }, { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1436475074.245, "CreationDateTime": 1436474656.564, "EndDateTime": 1436638158.387 }, "State": "RUNNING", "StateChangeReason": { "Message": "", } }, "Name": "MASTER", "InstanceGroupType": "MASTER", "Id": "ig-XXXXXXXXX", "Configurations": [], "InstanceType": "m3.large", "Market": "ON_DEMAND", "RunningInstanceCount": 1 } ], "Applications": [ { "Name": "Hadoop" } ], "VisibleToAllUsers": true, "BootstrapActions": [], "MasterPublicDnsName": "ec2-54-147-144-78.compute-1.amazonaws.com", "AutoTerminate": false, "Id": "j-XXXXXXXX", "Configurations": [ { "Properties": { "fs.s3.consistent.retryPeriodSeconds": "20", "fs.s3.enableServerSideEncryption": "true", "fs.s3.consistent": "false", "fs.s3.consistent.retryCount": "2" }, "Classification": "emrfs-site" } ] } } For release-label based instance fleet cluster: { "Cluster": { "Status": { "Timeline": { "ReadyDateTime": 1487897289.705, "CreationDateTime": 1487896933.942 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting for steps to run" } }, "Ec2InstanceAttributes": { "EmrManagedMasterSecurityGroup": "sg-xxxxx", "RequestedEc2AvailabilityZones": [], "RequestedEc2SubnetIds": [], "IamInstanceProfile": "EMR_EC2_DefaultRole", "Ec2AvailabilityZone": "us-east-1a", "EmrManagedSlaveSecurityGroup": "sg-xxxxx" }, "Name": "My Cluster", "ServiceRole": "EMR_DefaultRole", "Tags": [], "TerminationProtected": false, "UnhealthyNodeReplacement": false, "ReleaseLabel": "emr-5.2.0", "NormalizedInstanceHours": 472, "InstanceCollectionType": "INSTANCE_FLEET", "InstanceFleets": [ { "Status": { "Timeline": { "ReadyDateTime": 1487897212.74, "CreationDateTime": 1487896933.948 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "ProvisionedSpotCapacity": 1, "Name": "MASTER", "InstanceFleetType": "MASTER", "LaunchSpecifications": { "SpotSpecification": { "TimeoutDurationMinutes": 60, "TimeoutAction": "TERMINATE_CLUSTER" } }, "TargetSpotCapacity": 1, "ProvisionedOnDemandCapacity": 0, "InstanceTypeSpecifications": [ { "BidPrice": "0.5", "InstanceType": "m3.xlarge", "WeightedCapacity": 1 } ], "Id": "if-xxxxxxx", "TargetOnDemandCapacity": 0 } ], "Applications": [ { "Version": "2.7.3", "Name": "Hadoop" } ], "ScaleDownBehavior": "TERMINATE_AT_INSTANCE_HOUR", "VisibleToAllUsers": true, "BootstrapActions": [], "MasterPublicDnsName": "ec2-xxx-xx-xxx-xx.compute-1.amazonaws.com", "AutoTerminate": false, "Id": "j-xxxxx", "Configurations": [] } } For ami based uniform instance group cluster: { "Cluster": { "Status": { "Timeline": { "ReadyDateTime": 1399400564.432, "CreationDateTime": 1399400268.62 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting for steps to run" } }, "Ec2InstanceAttributes": { "IamInstanceProfile": "EMR_EC2_DefaultRole", "Ec2AvailabilityZone": "us-east-1c" }, "Name": "My Cluster", "Tags": [], "TerminationProtected": true, "UnhealthyNodeReplacement": true, "RunningAmiVersion": "2.5.4", "InstanceGroups": [ { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1399400558.848, "CreationDateTime": 1399400268.621 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "Master instance group", "InstanceGroupType": "MASTER", "InstanceType": "m1.small", "Id": "ig-ABCD", "Market": "ON_DEMAND", "RunningInstanceCount": 1 }, { "RequestedInstanceCount": 2, "Status": { "Timeline": { "ReadyDateTime": 1399400564.439, "CreationDateTime": 1399400268.621 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "Core instance group", "InstanceGroupType": "CORE", "InstanceType": "m1.small", "Id": "ig-DEF", "Market": "ON_DEMAND", "RunningInstanceCount": 2 } ], "Applications": [ { "Version": "1.0.3", "Name": "hadoop" } ], "BootstrapActions": [], "VisibleToAllUsers": false, "RequestedAmiVersion": "2.4.2", "LogUri": "s3://myLogUri/", "AutoTerminate": false, "Id": "j-XXXXXXXX" } } ``` + API の詳細については、AWS CLI コマンドリファレンスの「[DescribeCluster](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/describe-cluster.html)」を参照してください。** ### `describe-step` 次のコード例は、`describe-step` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、クラスター ID `j-3SD91U2E1L2QX` を持つクラスターでステップ ID `s-3LZC0QUT43AM` を持つステップを記述します。 ``` aws emr describe-step --cluster-id j-3SD91U2E1L2QX --step-id s-3LZC0QUT43AM ``` 出力: ``` { "Step": { "Status": { "Timeline": { "EndDateTime": 1433200470.481, "CreationDateTime": 1433199926.597, "StartDateTime": 1433200404.959 }, "State": "COMPLETED", "StateChangeReason": {} }, "Config": { "Args": [ "s3://us-west-2.elasticmapreduce/libs/hive/hive-script", "--base-path", "s3://us-west-2.elasticmapreduce/libs/hive/", "--install-hive", "--hive-versions", "0.13.1" ], "Jar": "s3://us-west-2.elasticmapreduce/libs/script-runner/script-runner.jar", "Properties": {} }, "Id": "s-3LZC0QUT43AM", "ActionOnFailure": "TERMINATE_CLUSTER", "Name": "Setup hive" } } ``` + API の詳細については、AWS CLI コマンドリファレンスの「[DescribeStep](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/describe-step.html)」を参照してください。** ### `get` 次のコード例は、`get` を使用する方法を示しています。 **AWS CLI** 次は、クラスター ID `j-3SD91U2E1L2QX` を持つクラスター内のマスターインスタンスから `hadoop-examples.jar` アーカイブをダウンロードします。 ``` aws emr get --cluster-id j-3SD91U2E1L2QX --key-pair-file ~/.ssh/mykey.pem --src /home/hadoop-examples.jar --dest ~ ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[Get](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/get.html)」を参照してください。 ### `list-clusters` 次のコード例は、`list-clusters` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、現在のリージョン内のすべてのアクティブな EMR クラスターを一覧表示します。 ``` aws emr list-clusters --active ``` 出力: ``` { "Clusters": [ { "Status": { "Timeline": { "ReadyDateTime": 1433200405.353, "CreationDateTime": 1433199926.596 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "NormalizedInstanceHours": 6, "Id": "j-3SD91U2E1L2QX", "Name": "my-cluster" } ] } ``` + API の詳細については、AWS CLI コマンドリファレンスの「[ListClusters](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/list-clusters.html)」を参照してください。** ### `list-instance-fleets` 次のコード例は、`list-instance-fleets` を使用する方法を示しています。 **AWS CLI** **クラスター内のインスタンスフリートの設定情報を取得するには** この例では、指定されたクラスター内のインスタンスフリートの詳細を一覧表示します。 コマンド: ``` list-instance-fleets --cluster-id 'j-12ABCDEFGHI34JK' ``` 出力: ``` { "InstanceFleets": [ { "Status": { "Timeline": { "ReadyDateTime": 1488759094.637, "CreationDateTime": 1488758719.817 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "ProvisionedSpotCapacity": 6, "Name": "CORE", "InstanceFleetType": "CORE", "LaunchSpecifications": { "SpotSpecification": { "TimeoutDurationMinutes": 60, "TimeoutAction": "TERMINATE_CLUSTER" } }, "ProvisionedOnDemandCapacity": 2, "InstanceTypeSpecifications": [ { "BidPrice": "0.5", "InstanceType": "m3.xlarge", "WeightedCapacity": 2 } ], "Id": "if-1ABC2DEFGHIJ3" }, { "Status": { "Timeline": { "ReadyDateTime": 1488759058.598, "CreationDateTime": 1488758719.811 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "ProvisionedSpotCapacity": 0, "Name": "MASTER", "InstanceFleetType": "MASTER", "ProvisionedOnDemandCapacity": 1, "InstanceTypeSpecifications": [ { "BidPriceAsPercentageOfOnDemandPrice": 100.0, "InstanceType": "m3.xlarge", "WeightedCapacity": 1 } ], "Id": "if-2ABC4DEFGHIJ4" } ] } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ListInstanceFleets](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/list-instance-fleets.html)」を参照してください。 ### `list-instances` 次のコード例は、`list-instances` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、クラスター ID `j-3C6XNQ39VR9WL` を持つクラスターのすべてのインスタンスを一覧表示します。 ``` aws emr list-instances --cluster-id j-3C6XNQ39VR9WL ``` 出力: ``` For a uniform instance group based cluster { "Instances": [ { "Status": { "Timeline": { "ReadyDateTime": 1433200400.03, "CreationDateTime": 1433199960.152 }, "State": "RUNNING", "StateChangeReason": {} }, "Ec2InstanceId": "i-f19ecfee", "PublicDnsName": "ec2-52-52-41-150.us-west-2.compute.amazonaws.com", "PrivateDnsName": "ip-172-21-11-216.us-west-2.compute.internal", "PublicIpAddress": "52.52.41.150", "Id": "ci-3NNHQUQ2TWB6Y", "PrivateIpAddress": "172.21.11.216" }, { "Status": { "Timeline": { "ReadyDateTime": 1433200400.031, "CreationDateTime": 1433199949.102 }, "State": "RUNNING", "StateChangeReason": {} }, "Ec2InstanceId": "i-1feee4c2", "PublicDnsName": "ec2-52-63-246-32.us-west-2.compute.amazonaws.com", "PrivateDnsName": "ip-172-31-24-130.us-west-2.compute.internal", "PublicIpAddress": "52.63.246.32", "Id": "ci-GAOCMKNKDCV7", "PrivateIpAddress": "172.21.11.215" }, { "Status": { "Timeline": { "ReadyDateTime": 1433200400.031, "CreationDateTime": 1433199949.102 }, "State": "RUNNING", "StateChangeReason": {} }, "Ec2InstanceId": "i-15cfeee3", "PublicDnsName": "ec2-52-25-246-63.us-west-2.compute.amazonaws.com", "PrivateDnsName": "ip-172-31-24-129.us-west-2.compute.internal", "PublicIpAddress": "52.25.246.63", "Id": "ci-2W3TDFFB47UAD", "PrivateIpAddress": "172.21.11.214" } ] } For a fleet based cluster: { "Instances": [ { "Status": { "Timeline": { "ReadyDateTime": 1487810810.878, "CreationDateTime": 1487810588.367, "EndDateTime": 1488022990.924 }, "State": "TERMINATED", "StateChangeReason": { "Message": "Instance was terminated." } }, "Ec2InstanceId": "i-xxxxx", "InstanceFleetId": "if-xxxxx", "EbsVolumes": [], "PublicDnsName": "ec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com", "InstanceType": "m3.xlarge", "PrivateDnsName": "ip-xx-xx-xxx-xx.ec2.internal", "Market": "SPOT", "PublicIpAddress": "xx.xx.xxx.xxx", "Id": "ci-xxxxx", "PrivateIpAddress": "10.47.191.80" } ] } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ListInstances](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/list-instances.html)」を参照してください。 ### `list-security-configurations` 次のコード例は、`list-security-configurations` を使用する方法を示しています。 **AWS CLI** **現在のリージョンのセキュリティ設定を一覧表示するには** コマンド: ``` aws emr list-security-configurations ``` 出力: ``` { "SecurityConfigurations": [ { "CreationDateTime": 1473889697.417, "Name": "MySecurityConfig-1" }, { "CreationDateTime": 1473889697.417, "Name": "MySecurityConfig-2" } ] } ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ListSecurityConfigurations](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/list-security-configurations.html)」を参照してください。 ### `list-steps` 次のコード例は、`list-steps` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、クラスター ID `j-3SD91U2E1L2QX` を持つクラスターのすべてのステップを一覧表示します。 ``` aws emr list-steps --cluster-id j-3SD91U2E1L2QX ``` + API の詳細については、AWS CLI コマンドリファレンスの「[ListSteps](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/list-steps.html)」を参照してください。** ### `modify-cluster-attributes` 次のコード例は、`modify-cluster-attributes` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、ID `j-301CDNY0J5XM4` の EMR クラスターの可視性をすべてのユーザーに設定します。 ``` aws emr modify-cluster-attributes --cluster-id j-301CDNY0J5XM4 --visible-to-all-users ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ModifyClusterAttributes](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/modify-cluster-attributes.html)」を参照してください。 ### `modify-instance-fleet` 次のコード例は、`modify-instance-fleet` を使用する方法を示しています。 **AWS CLI** **インスタンスフリートのターゲット容量を変更するには** この例では、指定されたインスタンスフリートのオンデマンドおよびスポットターゲット容量を 1 に変更します。 コマンド: ``` aws emr modify-instance-fleet --cluster-id 'j-12ABCDEFGHI34JK' --instance-fleet InstanceFleetId='if-2ABC4DEFGHIJ4',TargetOnDemandCapacity=1,TargetSpotCapacity=1 ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ModifyInstanceFleet](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/modify-instance-fleet.html)」を参照してください。 ### `put` 次のコード例は、`put` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、`healthcheck.sh` という名前のファイルを、クラスター ID `j-3SD91U2E1L2QX` のクラスター内のマスターインスタンスにアップロードします。 ``` aws emr put --cluster-id j-3SD91U2E1L2QX --key-pair-file ~/.ssh/mykey.pem --src ~/scripts/healthcheck.sh --dest /home/hadoop/bin/healthcheck.sh ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[Put](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/put.html)」を参照してください。 ### `remove-tags` 次のコード例は、`remove-tags` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、`prod` キーを持つタグをクラスター ID `j-3SD91U2E1L2QX` のクラスターから削除します。 ``` aws emr remove-tags --resource-id j-3SD91U2E1L2QX --tag-keys prod ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[RemoveTags](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/remove-tags.html)」を参照してください。 ### `schedule-hbase-backup` 次のコード例は、`schedule-hbase-backup` を使用する方法を示しています。 **AWS CLI** **注: このコマンドは、AMI バージョン 2.x および 3.x の HBase でのみ使用できます** **1. フル HBase バックアップをスケジュールするには** >>>>>>> 06ab6d6e13564b5733d75abaf3b599f93cf39a23 コマンド: ``` aws emr schedule-hbase-backup --cluster-id j-XXXXXXYY --type full --dir s3://amzn-s3-demo-bucket/backup --interval 10 --unit hours --start-time 2014-04-21T05:26:10Z --consistent ``` 出力: ``` None ``` **2. 増分 HBase バックアップをスケジュールするには** コマンド: ``` aws emr schedule-hbase-backup --cluster-id j-XXXXXXYY --type incremental --dir s3://amzn-s3-demo-bucket/backup --interval 30 --unit minutes --start-time 2014-04-21T05:26:10Z --consistent ``` 出力: ``` None ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[ScheduleHbaseBackup](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/schedule-hbase-backup.html)」を参照してください。 ### `socks` 次のコード例は、`socks` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、クラスター ID `j-3SD91U2E1L2QX` のクラスター内のマスターインスタンスとのソックス接続を開きます。 ``` aws emr socks --cluster-id j-3SD91U2E1L2QX --key-pair-file ~/.ssh/mykey.pem ``` キーペアファイルオプションは、プライベートキーファイルへのローカルパスを取得します。 + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[Socks](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/socks.html)」を参照してください。 ### `ssh` 次のコード例は、`ssh` を使用する方法を示しています。 **AWS CLI** 次のコマンドは、クラスター ID `j-3SD91U2E1L2QX` のクラスター内のマスターインスタンスとの ssh 接続を開きます。 ``` aws emr ssh --cluster-id j-3SD91U2E1L2QX --key-pair-file ~/.ssh/mykey.pem ``` キーペアファイルオプションは、プライベートキーファイルへのローカルパスを取得します。 出力: ``` ssh -o StrictHostKeyChecking=no -o ServerAliveInterval=10 -i /home/local/user/.ssh/mykey.pem hadoop@ec2-52-52-41-150.us-west-2.compute.amazonaws.com Warning: Permanently added 'ec2-52-52-41-150.us-west-2.compute.amazonaws.com,52.52.41.150' (ECDSA) to the list of known hosts. Last login: Mon Jun 1 23:15:38 2015 __| __|_ ) _| ( / Amazon Linux AMI ___|\___|___| https://aws.amazon.com/amazon-linux-ami/2015.03-release-notes/ 26 package(s) needed for security, out of 39 available Run "sudo yum update" to apply all updates. -------------------------------------------------------------------------------- Welcome to Amazon Elastic MapReduce running Hadoop and Amazon Linux. Hadoop is installed in /home/hadoop. Log files are in /mnt/var/log/hadoop. Check /mnt/var/log/hadoop/steps for diagnosing step failures. The Hadoop UI can be accessed via the following commands: ResourceManager lynx http://ip-172-21-11-216:9026/ NameNode lynx http://ip-172-21-11-216:9101/ -------------------------------------------------------------------------------- [hadoop@ip-172-31-16-216 ~]$ ``` + API の詳細については、「*AWS CLI コマンドリファレンス*」の「[Ssh](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/ssh.html)」を参照してください。