チュートリアル: Amazon の開始方法 EMR

にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

左側のナビゲーションペインの EMRでEC2、クラスター を選択し、クラスターの作成 を選択します。

[クラスターの作成] ページで、[リリース]、[インスタンスタイプ]、[インスタンス数]、および [アクセス許可] のデフォルト値を書き留めます。これらのフィールドには、汎用クラスターで機能する値が自動的に入力されます。

クラスター名 フィールドに、 などのクラスターを識別するのに役立つ一意のクラスター名を入力しますMy first cluster。クラスター名に <、>、$、|、` (バックティック) の文字を含めることはできません。

[アプリケーション] で、[Spark] オプションをクリックして、クラスターに Spark をインストールします。

[クラスターログ] で、[クラスター固有のログを Amazon S3 に公開] チェックボックスを選択します。[Amazon S3 ロケーション] の値は、作成した Amazon S3 バケットに置き換え、その後に /logs を追加します。例えば、s3://amzn-s3-demo-bucket/logs と指定します。を追加すると、バケットに「logs」という名前の新しいフォルダ/logsが作成され、Amazon EMR はクラスターのログファイルをコピーできます。

セキュリティ設定とアクセス許可で、EC2キーペアを選択します。同じセクションで、Amazon のサービスロールEMRドロップダウンメニューを選択し、EMR_DefaultRole を選択します。次に、IAMインスタンスプロファイルのドロップダウンメニューのロールを選択し、EMR_EC2_DefaultRole を選択します。

[クラスターの作成] を選択して、クラスターを起動し、クラスターの詳細ページを開きます。

クラスター名の横のクラスターの [ステータス] を見つけます。Amazon がクラスターをEMRプロビジョニングすると、ステータスが開始から実行中、待機に変わります。ステータスの更新を確認するには、右側にある更新アイコンを選択するか、ブラウザを更新する必要があります。

次のコマンドを使用して、クラスターの作成に使用できるIAMデフォルトのロールを作成します。

aws emr create-default-roles

create-default-roles に関する詳細は、「AWS CLI Command Reference」を参照してください。

次のコマンドを使用して Spark クラスターを作成します。--name オプションでクラスターの名前を入力し、 --ec2-attributesオプションでEC2キーペアの名前を指定します。

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

その他の必須値 --instance-type、--instance-count、および --use-default-roles にも注意してください。これらの値は、汎用クラスター向けに選択されています。create-cluster に関する詳細は、「AWS CLI Command Reference」を参照してください。

次のような出力が表示されます。新しいクラスターの ClusterId と ClusterArn が出力に表示されます。ClusterId を書き留めてください。ClusterId は、クラスターのステータスの確認と、作業の送信に使用します。

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

次のコマンドを使用して、クラスターのステータスを確認します。

aws emr describe-cluster --cluster-id <myClusterId>						

新しいクラスター用のオブジェクト Status がある次のような出力が表示されます。

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

Amazon がクラスターをEMRプロビジョニングWAITINGすると、State値は から RUNNING STARTINGに変わります。

にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

左側のナビゲーションペインの EMRでEC2、クラスター を選択し、作業を送信するクラスターを選択します。クラスターの状態は [待機中] である必要があります。

[ステップ] タブを選択し、[ステップの追加] を選択します。

次のガイドラインに従ってステップを設定します。

[追加] を選択して、ステップを送信します。ステップが、[保留中] というステータスでコンソールに表示されます。

ステップのステータスをモニタリングします。[保留中] から [実行中]、[完了] に変わります。コンソール内のステータスを更新するには、[フィルター] の右にある更新アイコンを選択します。スクリプトの実行には約 1 分間かかります。ステータスが [完了済み] に変わると、ステップは正常に完了しています。

「Amazon EMRクラスターを起動する」で起動したクラスターの ClusterId がわかっていることを確認します。次のコマンドを使用して、クラスター ID を取得することもできます。

aws emr list-clusters --cluster-states WAITING							

add-steps コマンドで ClusterId を指定して、ステップとして health_violations.py を送信します。

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

を使用してステップを送信する方法の詳細についてはCLI、AWS CLI 「 コマンドリファレンス」を参照してください。

ステップを送信すると、StepIds がリストされた次のような出力が表示されます。ステップを 1 つ送信したので、1 つの ID のみがリストされます。ステップ ID をコピーします。ステップ ID は、ステップのステータスを確認するために使用します。

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

describe-step コマンドを使用して、ステップのステータスのクエリを実行します。

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

ステップに関する情報が記載された、次のような出力が表示されます。

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

ステップの State は、ステップの実行に伴って PENDING から RUNNING、さらには COMPLETED へと変わります。このステップの実行には約 1 分間かかるため、ステータスを数回確認することが必要な場合があります。

にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

[クラスター] を選択し、終了するクラスターを選択します。

[アクション] ドロップダウンメニューで、[クラスターの終了] を選択します。

ダイアログボックスで、[終了] を選択します。クラスター設定によっては、終了に 5～10 分間かかる場合があります。Amazon EMRクラスターの使用方法の詳細については、「」を参照してください開始、実行中、または待機状態の Amazon EMRクラスターを終了する。

次のコマンドを使用して、クラスターの終了プロセスを開始します。をサンプルクラスターの ID <myClusterId>に置き換えます。このコマンドでは、出力は返されません。

aws emr terminate-clusters --cluster-ids <myClusterId>

クラスターの終了プロセスが進行中であることを確認するために、次のコマンドでクラスターのステータスを確認します。

aws emr describe-cluster --cluster-id <myClusterId>									

以下は、 JSON 形式の出力例です。クラスターの Status が TERMINATING から TERMINATED に変わります。クラスター設定によっては、終了に 5～10 分間かかる場合があります。Amazon EMRクラスターの終了の詳細については、「」を参照してください開始、実行中、または待機状態の Amazon EMRクラスターを終了する。

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}