Visualización del estado y los detalles del clúster de Amazon EMR - Amazon EMR
Ver los detalles de un clúster mediante la AWS Management ConsoleVer los detalles de un clúster mediante la AWS CLI

Visualización del estado y los detalles del clúster de Amazon EMR

Después de crear un clúster, puede monitorizar su estado y obtener información detallada acerca de su ejecución y los errores que puedan haberse producido, incluso después de que se haya terminado. Amazon EMR guarda los metadatos de los clústeres terminados para su referencia durante dos meses, después de los cuales se eliminan. No puede eliminar clústeres del historial de clústeres, pero con la AWS Management Console, puede utilizar la función Filter (Filtro), y con la AWS CLI, puede utilizar opciones con el comando list-clusters para centrarse en los clústeres que le interesen.

Puede acceder al historial de aplicaciones almacenado en el clúster durante una semana desde el momento en que se registra, independientemente de si el clúster se está ejecutando o ha terminado. Además, las interfaces de usuario de aplicaciones persistentes almacenan el historial de aplicaciones fuera del clúster durante 30 días después de que termine un clúster. Consulte Ver el historial de aplicaciones.

Para obtener más información sobre los estados de los clústeres, como los estados En espera y En ejecución, consulte Descripción del ciclo de vida del clúster.

Ver los detalles de un clúster mediante la AWS Management Console

En la lista Clústeres de https://console.aws.amazon.com/emr, se muestran todos los clústeres de su cuenta y su región de AWS, incluidos los clústeres terminados. En la lista, se muestra lo siguiente para cada clúster: el nombre y el ID, el estado, los detalles del estado, la hora de creación, el tiempo transcurrido desde que se ejecutó el clúster y las horas de instancia normalizadas que han acumulado todas las instancias de EC2 del clúster. Esta lista es el punto de partida para monitorear el estado de los clústeres. Se ha diseñado para que pueda profundizar hasta los detalles de cada clúster para su análisis y resolución de problemas.

Console
Para ver la información del clúster con la consola

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EMR en https://console.aws.amazon.com/emr.

  2. En EMR en EC2, en el panel de navegación izquierdo, seleccione Clústeres y seleccione el clúster que desee ver.

  3. Utilice el panel Resumen para ver los aspectos básicos de la configuración del clúster, como el estado del clúster, las aplicaciones de código abierto que Amazon EMR instaló en el clúster y la versión de Amazon EMR que utilizó para crear el clúster. Utilice les pestañas que aparecen debajo del resumen para ver la información que se describe en la siguiente tabla.

Ver los detalles de un clúster mediante la AWS CLI

Los siguientes ejemplos muestran cómo recuperar detalles del clúster utilizando la AWS CLI. Para obtener más información sobre los comandos disponibles, consulte la Referencia de comandos de la AWS CLI de Amazon EMR. Puede usar el comando describe-cluster para ver detalles de nivel de clúster como el estado, la configuración de hardware y de software, los ajustes de VPC, las acciones de arranque, los grupos de instancias, etc. Para obtener más información acerca de los estados del clúster, consulte Descripción del ciclo de vida del clúster. El siguiente ejemplo ilustra cómo usar el comando describe-cluster, seguido de ejemplos del comando list-clusters.

ejemplo Ver el estado del clúster

Para utilizar el comando describe-cluster, necesita el ID del clúster. Este ejemplo muestra cómo obtener una lista de los clústeres creados en un intervalo de fechas determinado y cómo usar uno de los ID de clúster devueltos para obtener más información sobre el estado de un determinado clúster.

El siguiente comando describe el clúster j-1K48XXXXXXHCB, que debe sustituirse por el ID del clúster que se desee.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

La salida de este comando es similar a la siguiente:

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
ejemplo Mostrar clústeres por fecha de creación

Para recuperar clústeres creados en un intervalo de fechas específico, use el comando list-clusters con los parámetros --created-after y --created-before.

El siguiente comando muestra todos los clústeres creados entre el 9 de octubre de 2019 y el 12 de octubre de 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
ejemplo Mostrar clústeres por estado

Para mostrar clústeres por estado, use el comando list-clusters con el parámetro --cluster-states. Los estados de clúster válidos incluyen: STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED y TERMINATED_WITH_ERRORS. 

aws emr list-clusters --cluster-states TERMINATED

También puede utilizar los siguientes parámetros de acceso directo para mostrar todos los clústeres con los estados especificados:

  • El parámetro --active filtra los clústeres por los estados STARTING, BOOTSTRAPPING, RUNNING, WAITING o TERMINATING.

  • El parámetro --terminated filtra los clústeres por el estado TERMINATED.

  • El parámetro --failed filtra los clústeres por el estado TERMINATED_WITH_ERRORS.

Los siguientes comandos devuelven el mismo resultado.

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

Para obtener más información acerca de los estados del clúster, consulte Descripción del ciclo de vida del clúster.