자습서: Amazon EMR 시작하기

AWS Management Console에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

클러스터 생성 페이지에서 릴리스, 인스턴스 유형, 인스턴스 수 및 권한의 기본값을 기록합니다. 이러한 필드는 범용 클러스터에 적합한 값으로 자동으로 채워집니다.

클러스터 이름 필드에 클러스터를 식별하는 데 도움이 되는 고유한 클러스터 이름(예: My first cluster)을 입력합니다. 클러스터 이름에는 <, >, $, | 또는 `(백틱) 문자를 포함할 수 없습니다.

애플리케이션에서 Spark 옵션을 선택하여 클러스터에 Spark를 설치합니다.

클러스터 로그에서 Amazon S3에 클러스터별 로그 게시 확인란을 선택합니다. Amazon S3 위치 값을 이전에 생성한 Amazon S3 버킷으로 바꾸고 /logs를 추가합니다. 예: s3://amzn-s3-demo-bucket/logs. /logs를 추가하면 버킷에 'logs'라는 새 폴더가 생성되며, 이 폴더에서 Amazon EMR이 클러스터의 로그 파일을 복사할 수 있습니다.

보안 구성 및 권한에서 EC2 키 페어를 선택합니다. 동일한 섹션에서 Amazon EMR에 대한 서비스 역할 드롭다운 메뉴를 선택하고 EMR_DefaultRole을 선택합니다. 그런 다음, 인스턴스 프로파일에 대한 IAM 역할 드롭다운 메뉴를 선택하고 EMR_EC2_DefaultRole을 선택합니다.

클러스터 생성을 선택하여 클러스터를 시작하고 클러스터 세부 정보 페이지를 엽니다.

클러스터 이름 옆에서 클러스터 상태를 찾습니다. Amazon EMR이 클러스터를 프로비저닝함에 따라 상태가 시작 중에서 실행 중, 대기 중으로 변경됩니다. 상태 업데이트를 확인하려면 오른쪽에서 새로 고침 아이콘을 선택하거나 브라우저를 새로 쳐야 할 수도 있습니다.

다음 명령을 사용하여 클러스터를 생성하는 데 사용할 수 있는 IAM 기본 역할을 생성합니다.

aws emr create-default-roles

create-default-roles에 대한 자세한 내용은 AWS CLI 명령 참조를 참조하세요.

다음 명령을 사용하여 Spark 클러스터를 생성합니다. --name 옵션을 사용하여 클러스터 이름을 입력하고 --ec2-attributes 옵션을 사용하여 EC2 키 페어 이름을 지정합니다.

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

--instance-type, --instance-count 및 --use-default-roles의 기타 필수 값을 기록합니다. 이 값은 범용 클러스터용으로 선택되었습니다. create-cluster에 대한 자세한 내용은 AWS CLI 명령 참조를 참조하세요.

그러면 다음과 같은 결과가 표시됩니다. 출력에는 새 클러스터의 ClusterId 및 ClusterArn이 표시됩니다. ClusterId를 기록합니다. ClusterId를 사용하여 클러스터 상태를 확인하고 작업을 제출합니다.

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

다음 명령을 사용하여 클러스터 상태를 확인합니다.

aws emr describe-cluster --cluster-id <myClusterId>						

새 클러스터에 대한 Status 객체와 함께 다음과 같은 결과가 표시됩니다.

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

Amazon EMR이 클러스터를 프로비저닝함에 따라 State 값이 STARTING에서 RUNNING, WAITING으로 변경됩니다.

AWS Management Console에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 작업을 제출할 클러스터를 선택합니다. 클러스터 상태는 대기 중이어야 합니다.

단계를 선택하고 단계 추가를 선택합니다.

다음 지침에 따라 단계를 구성합니다.

추가를 선택하여 단계를 제출합니다. 단계가 콘솔에 보류 중 상태로 나타납니다.

단계 상태를 모니터링합니다. 대기 중에서 실행 중으로, 그리고 완료됨으로 변경됩니다. 콘솔에서 상태를 업데이트하려면 필터의 오른쪽에 있는 새로 고침 아이콘을 선택합니다. 스크립트를 실행하는 데 약 1분이 걸립니다. 상태가 완료됨으로 변경되면 단계가 성공적으로 완료된 것입니다.

Amazon EMR 클러스터 시작에서 실행한 클러스터의 ClusterId가 있는지 확인합니다. 다음 명령을 사용하여 클러스터 ID를 검색할 수도 있습니다.

aws emr list-clusters --cluster-states WAITING							

add-steps 명령 및 ClusterId를 사용하여 health_violations.py를 단계로 제출합니다.

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

CLI를 사용하여 단계를 제출하는 방법에 대한 자세한 내용은 AWS CLI 명령 참조를 참조하세요.

단계를 제출한 후에는 StepIds의 목록에서 다음과 같은 출력이 표시됩니다. 한 단계를 제출했으므로 목록에 ID가 하나만 표시됩니다. 단계 ID를 복사합니다. 단계 ID를 사용하여 단계 상태를 확인합니다.

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

describe-step 명령을 사용하여 단계 상태를 쿼리합니다.

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

단계에 대한 정보와 함께 다음과 같은 결과가 표시됩니다.

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

단계가 실행됨에 따라 단계의 State가 PENDING에서 RUNNING, 그리고 COMPLETED로 바뀝니다. 단계를 실행하는 데 약 1분이 걸리므로 상태를 몇 번 확인해야 할 수도 있습니다.

AWS Management Console에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

먼저 클러스터를 선택하고 종료할 클러스터를 선택합니다.

작업 드롭다운 메뉴에서 클러스터 종료를 선택합니다.

대화 상자에서 종료를 선택합니다. 클러스터 구성에 따라 종료하는 데 5~10분이 소요될 수 있습니다. Amazon EMR 클러스터 생성에 대한 자세한 내용은 시작 중, 실행 중 또는 대기 중 상태인 Amazon EMR 클러스터 종료 섹션을 참조하세요.

다음 명령을 사용하여 클러스터 종료 프로세스를 시작합니다. <myClusterId>를 샘플 클러스터 ID로 바꿉니다. 명령은 출력을 반환하지 않습니다.

aws emr terminate-clusters --cluster-ids <myClusterId>

클러스터 종료 프로세스가 진행 중인지 확인하려면 다음 명령을 사용하여 클러스터 상태를 확인합니다.

aws emr describe-cluster --cluster-id <myClusterId>									

다음은 JSON 형식의 출력 예제입니다. 클러스터 Status가 TERMINATING에서 TERMINATED로 변경됩니다. 클러스터 구성에 따라 종료하는 데 5분~10분이 소요될 수 있습니다. Amazon EMR 클러스터 종료에 대한 자세한 내용은 시작 중, 실행 중 또는 대기 중 상태인 Amazon EMR 클러스터 종료 섹션을 참조하세요.

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}