查看 Amazon EMR 集群状态和详细信息 - Amazon EMR
使用 AWS Management Console 查看集群详细信息使用 AWS CLI 查看集群详细信息

查看 Amazon EMR 集群状态和详细信息

创建集群后，您可以监控其状态和获取有关其执行和可能发生的错误的详细信息 (即使在集群终止后也是如此)。Amazon EMR 会将有关已终止集群的元数据保存两个月（之后将删除）以供您参考。虽然您无法从集群历史记录中删除集群，但借助AWS Management Console，您可使用 Filter (筛选条件) 来聚焦您关注的集群，而借助 AWS CLI，您可使用选项与 list-clusters 命令来聚焦您关注的集群。

无论集群是在运行中还是已终止，您都可以访问从开始记录集群的一周内存储在集群中的应用程序历史记录。此外，在集群终止后，持久性应用程序用户界面会在集群外存储应用程序历史记录达 30 天。请参阅查看应用程序历史记录。

有关集群状态 [例如“Waiting (正在等待)”和“Running (正在运行)”] 的更多信息，请参阅了解集群的生命周期。

使用 AWS Management Console 查看集群详细信息

https://console.aws.amazon.com/emr 中的 Clusters（集群）列表列出了您账户和 AWS 区域中的所有集群，包括已终止的集群。该列表显示了每个集群的以下信息：名称和 ID、状态和状态详细信息、创建时间、集群已运行的已用时间，以及集群中所有 EC2 实例累计的标准实例小时数。该列表是监控您的集群状态的起点，它旨在使您能够深入了解每个集群的详细信息以进行分析和故障排除。

Console
使用控制台查看集群信息

  1. 登录 AWS Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

  2. 在左侧导航窗格中的 EMR on EC2 下，选择 Clusters（集群），然后选择要查看的集群。

  3. 使用 Summary（摘要）面板查看集群配置的基本信息，例如集群状态、Amazon EMR 在集群上安装的开源应用程序以及您用于创建集群的 Amazon EMR 版本。使用“摘要”下的各个选项卡查看信息，如下表所述。

使用 AWS CLI 查看集群详细信息

以下示例说明如何使用 AWS CLI 检索集群详细信息。有关可用命令的更多信息，请参阅 Amazon EMR 的 AWS CLI 命令参考。您可以使用 describe-cluster 命令查看集群级别详细信息，包括状态、硬件和软件配置、VPC 设置、引导操作、实例组等。有关集群状态的更多信息，请参阅了解集群的生命周期。以下示例演示了使用 describe-cluster 命令的情景，并随后提供了 list-clusters 命令的示例。

例 查看集群状态

要使用 describe-cluster 命令，需要集群 ID。此示例演示使用它获取特定日期范围内创建的集群的列表，然后使用返回的集群 ID 之一列出有关各个集群状态的更多信息。

以下命令描述集群 j-1K48XXXXXXHCB（将替换为您的集群 ID）。

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

您的命令的输出与以下内容类似：

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
例 按创建日期列出集群

要检索特定日期范围内创建的集群，请使用 list-clusters 命令与 --created-after 和 --created-before 参数。

以下命令将列出在 2019 年 10 月 9 日和 2019 年 10 月 12 日之间创建的所有集群。

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
例 按状态列出集群

要按状态列出集群，使用 list-clusters 命令与 --cluster-states 参数。有效集群状态包括：STARTING、BOOTSTRAPPING、RUNNING、WAITING、TERMINATING、TERMINATED 和 TERMINATED_WITH_ERRORS。

aws emr list-clusters --cluster-states TERMINATED

您还可使用以下快捷方式参数来列出处于指定状态的所有集群：

  • --active 筛选处于 STARTING、BOOTSTRAPPING、RUNNING、WAITING 或 TERMINATING 状态的集群。

  • --terminated 筛选处于 TERMINATED 状态的集群。

  • --failed 参数筛选处于 TERMINATED_WITH_ERRORS 状态的集群。

以下命令返回相同的结果。

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

有关集群状态的更多信息，请参阅了解集群的生命周期。