Amazon EMR 클러스터 상태 및 세부 정보 보기 - Amazon EMR
AWS Management Console을 사용하여 클러스터 세부 정보 보기를 사용하여 클러스터 세부 정보 보기 AWS CLI

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 클러스터 상태 및 세부 정보 보기

클러스터를 생성한 후에는 상태를 모니터링하고 실행이 종료된 후에도 발생할 수 있는 실행 및 오류에 대한 자세한 정보를 얻을 수 있습니다. Amazon EMR은 종료된 클러스터에 대한 메타데이터를 참조용으로 2개월 동안 저장하며, 그 이후에는 메타데이터가 삭제됩니다. 클러스터 내역에서 클러스터를 삭제할 수는 없지만 AWS Management Console을 사용하면 필터를 사용할 수 있고, AWS CLI를 사용하면 list-clusters 명령으로 옵션을 사용하여 관리하는 클러스터에 중점을 둘 수 있습니다.

클러스터가 실행 중이거나 종료되었는지 여부에 관계없이 기록된 시간으로부터 1주일 동안 클러스터에 저장된 애플리케이션 이력에 액세스할 수 있습니다. 또한 영구 애플리케이션 사용자 인터페이스는 클러스터가 종료된 후 30일 동안 애플리케이션 이력을 클러스터 외부에 저장합니다. 애플리케이션 기록 보기를 참조하세요.

대기 중 및 실행 중과 같은 클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요.

AWS Management Console을 사용하여 클러스터 세부 정보 보기

https://console.aws.amazon.com/emr 클러스터 목록에는 종료된 클러스터를 포함하여 계정 및 AWS 리전의 모든 클러스터가 나열됩니다. 다음 목록에는 각 클러스터에 대한 이름 및 ID, 상태 및 상태 세부 정보, 생성 시간, 클러스터가 실행 중인 경과 시간, 클러스터의 모든 EC2 인스턴스에서 누적된 정규화된 인스턴스 시간이 나와 있습니다. 이 목록은 클러스터 상태의 모니터링을 위한 출발점입니다. 이 목록은 분석 및 문제 해결을 위해 각 클러스터의 세부 정보로 드릴다운할 수 있도록 설계되었습니다.

Console
콘솔을 사용하여 클러스터 정보를 보는 방법

  1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 보려는 클러스터를 선택합니다.

  3. 요약 패널을 사용하여 클러스터 상태, Amazon EMR이 클러스터에 설치한 오픈 소스 애플리케이션, 클러스터를 생성하는 데 사용한 Amazon EMR 버전 등 클러스터 구성의 기본 사항을 확인합니다. 다음 테이블에서 설명하는 바와 같이 요약 아래 각 탭을 사용하여 정보를 봅니다.

를 사용하여 클러스터 세부 정보 보기 AWS CLI

다음 예제에서는 AWS CLI를 사용하여 클러스터 세부 정보를 가져오는 방법을 보여줍니다. 사용 가능한 명령에 대한 자세한 내용은 Amazon EMR에 대한AWS CLI 명령 참조를 참조하세요. describe-cluster 명령을 사용하여 상태, 하드웨어 및 소프트웨어 구성, VPC 설정, 부트스트랩 작업, 인스턴스 그룹 등을 비롯한 클러스터 수준의 세부 정보를 볼 수 있습니다. 클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요. 다음 예제는 describe-cluster 명령의 사용과 list-clusters 명령의 예를 보여줍니다.

예 클러스터 상태 보기

describe-cluster 명령을 사용하려면 클러스터 ID가 필요합니다. 이 예제는 특정 날짜 범위 내에서 생성된 클러스터 목록을 가져온 다음, 반환된 클러스터 ID 중 하나를 사용하여 개별 클러스터의 상태에 대한 자세한 정보를 나열하는 데 사용하는 방법을 보여 줍니다.

다음 명령은 클러스터 ID로 바뀌는 클러스터 j-1K48XXXXXXHCB를 설명합니다.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

명령의 출력은 다음과 유사합니다.

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
예 생성 날짜별로 클러스터 나열

특정 데이터 범위 내에서 생성된 클러스터를 검색하려면 list-clusters 명령을 --created-after 및 --created-before 파라미터와 함께 사용합니다.

다음 명령은 2019년 10월 9일에서 2019년 10월 12일 사이에 생성된 모든 클러스터를 나열합니다.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
예 상태별로 클러스터 나열

상태별로 클러스터를 나열하려면 list-clusters 명령을 --cluster-states 파라미터와 함께 사용합니다. 유효한 클러스터 상태에는 STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED 및 TERMINATED_WITH_ERRORS가 있습니다.

aws emr list-clusters --cluster-states TERMINATED

다음 바로 가기 파라미터를 사용하여 지정된 상태의 모든 클러스터를 나열할 수도 있습니다.

  • --active는 STARTING, BOOTSTRAPPING, RUNNING, WAITING 또는 TERMINATING 상태의 클러스터를 필터링합니다.

  • --terminated는 TERMINATED 상태의 클러스터를 필터링합니다.

  • --failed는 TERMINATED_WITH_ERRORS 상태의 클러스터를 필터링합니다.

다음은 동일한 결과를 반환하는 명령입니다.

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

클러스터 상태에 대한 자세한 내용은 클러스터 수명 주기 이해 섹션을 참조하세요.