教學課程：Amazon EMR 入門

登入 AWS Management Console，並在 https://console.aws.amazon.com/emr：// 開啟 Amazon EMR 主控台。

在左側導覽窗格中的 EMR on EC2 下方，選擇叢集，然後選擇建立叢集。

在建立叢集頁面中，記下發行版本、執行個體類型、執行個體數目和許可的預設值。這些欄位會自動填入適用於一般用途叢集的值。

在叢集名稱欄位中，輸入唯一的叢集名稱以協助您識別叢集，例如我的第一個叢集。您的叢集名稱不能包含字元 <、＞、$、| 或 ` (backtick)。

在應用程式下，選擇 Spark 選項以在叢集上安裝 Spark。

在叢集日誌下，選取「將叢集特定日誌發布至 Amazon S3」核取方塊。將 Amazon S3 位置值取代為您建立的 Amazon S3 儲存貯體，後面加上 /logs。例如：s3://amzn-s3-demo-bucket/logs。新增 /logs 可在儲存貯體中建立名為 'logs' 的新資料夾，Amazon EMR 可以在其中複製叢集的日誌檔案。

在安全組態和許可下，選擇您的 EC2 金鑰對。在相同的區段中，選取 Amazon EMR 的服務角色下拉式功能表，然後選擇 EMR_DefaultRole。然後，選取執行個體設定檔的 IAM 角色下拉式功能表，然後選擇 EMR_EC2_DefaultRole。

選擇建立叢集以啟動叢集並開啟叢集詳細資訊頁面。

尋找叢集名稱旁邊的叢集狀態。Amazon EMR 佈建叢集時，狀態會從開始變更為執行中或等待中。您可能會需要選擇右側的重新整理圖示，或是重新整理您的瀏覽器，以查看狀態更新。

建立 IAM 預設角色，然後使用它們透過下列命令來建立叢集。

aws emr create-default-roles

如需有關 create-default-roles 的詳細資訊，請參閱 AWS CLI 命令參考。

使用下列命令建立 Spark 叢集。使用 --name 選項輸入叢集的名稱，然後使用 --ec2-attributes 選項指定 EC2 金鑰對的名稱。

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

請注意，--instance-type、--instance-count 和 --use-default-roles 的其他必需值。已針對一般用途叢集選擇這些值。如需有關 create-cluster 的詳細資訊，請參閱 AWS CLI 命令參考。

您應該會看到類似以下的輸出。輸出會顯示新叢集的 ClusterId 和 ClusterArn。請注意您的 ClusterId。使用 ClusterId 檢查叢集狀態並提交工作。

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

執行下列命令，檢查叢集狀態。

aws emr describe-cluster --cluster-id <myClusterId>						

應該會看到類似以下的輸出，其中包含新叢集的 Status 物件。

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

當 Amazon EMR 佈建叢集時，State 值會從 STARTING 變更為 RUNNING 和 WAITING。

登入 AWS Management Console，並在 https://console.aws.amazon.com/emr：// 開啟 Amazon EMR 主控台。

在左側導覽窗格的 EMR on EC2 下，選擇叢集，然後選取您要在其中提交工作的叢集。叢集狀態必須為等待中。

選擇步驟索引標簽，然後選擇新增步驟。

根據下列的準則來設定步驟：

選擇新增以提交步驟。該步驟會出現在主控台中，狀態為待定。

監控步驟狀態。它應該從待定變更為執行中，最後變更為已完成。若要在主控台中重新整理狀態，請選擇篩選條件右側的重新整理圖示。該指令碼大約需要一分鐘來執行。狀態變更為已完成時，表示步驟已成功完成。

請確定您擁有已在 啟動 Amazon EMR 叢集 中啟動的叢集 ClusterId。也可透過以下命令擷取叢集 ID。

aws emr list-clusters --cluster-states WAITING							

使用 add-steps 命令和 ClusterId，作為一個步驟來提交 health_violations.py。

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

如需有關使用 CLI 提交步驟的詳細資訊，請參閱 AWS CLI 命令參考。

提交步驟之後，應該會看到如下所示的輸出，其中包含 StepIds 清單。由於您提交了一個步驟，因此在清單中只能看到一個 ID。複製步驟 ID。可以使用步驟 ID 來檢查步驟狀態。

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

使用 describe-step 命令來查詢步驟狀態。

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

應該會看到類似以下的輸出，其中包含有關步驟的資訊。

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

當步驟執行時，步驟的 State 會從 PENDING 變更為 RUNNING 到 COMPLETED。此步驟大約需要一分鐘才能執行，因此您可能需要檢查幾次狀態。

登入 AWS Management Console，並在 https：//https://console.aws.amazon.com/emr 開啟 Amazon EMR 主控台。

選擇叢集，然後選擇您想要終止的叢集。

在動作下拉式功能表中，選擇終止叢集。

在對話方塊中，選擇終止。視叢集組態而定，終止可能需要 5 到 10 分鐘。如需有關如何終止 Amazon EMR 叢集的詳細資訊，請參閱 在啟動、執行或等待狀態中終止 Amazon EMR 叢集。

使用下列命令啟動叢集終止程序。將 <myClusterId> 取代為範例叢集的 ID。命令不會傳回輸出。

aws emr terminate-clusters --cluster-ids <myClusterId>

若要檢查叢集終止程序是否正在進行中，請使用下列命令檢查叢集狀態。

aws emr describe-cluster --cluster-id <myClusterId>									

以下是採用 JSON 格式的範例輸出。叢集 Status 應從 TERMINATING 變更為 TERMINATED。終止可能需要 5 到 10 分鐘，具體取決於叢集組態。如需有關終止 Amazon EMR 叢集的詳細資訊，請參閱 在啟動、執行或等待狀態中終止 Amazon EMR 叢集。

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}