Afficher le statut et les détails du EMR cluster Amazon - Amazon EMR
Afficher les détails du cluster à l'aide de la AWS Management ConsoleConsultez les détails du cluster à l'aide du AWS CLI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Afficher le statut et les détails du EMR cluster Amazon

Une fois que vous avez créé un cluster, vous pouvez surveiller son statut et obtenir des informations détaillées sur son exécution et sur les erreurs qui ont pu se produire, même après que l'exécution a pris fin. Amazon EMR enregistre les métadonnées relatives aux clusters résiliés à titre de référence pendant deux mois, après quoi elles sont supprimées. Vous ne pouvez pas supprimer de clusters à partir de l'historique des clusters, mais à l'aide de la AWS Management Console, vous pouvez utiliser la commande Filtrer, tandis qu'avec l' AWS CLI, vous pouvez utiliser les options de la commande list-clusters pour vous concentrer sur les clusters dont vous vous occupez.

Vous pouvez accéder à l'historique d'application stocké sur le cluster pendant une semaine à compter de la date de son enregistrement, que le cluster soit en cours d'exécution ou hors service. En outre, les interfaces utilisateur d'application persistante stockent l'historique d'application hors cluster pendant 30 jours après la mise hors service d'un cluster. Veuillez consulter Afficher l'historique d'application.

Pour plus d'informations sur les états du cluster, tels que En attente et En cours d'exécution, consultez Présentation du cycle de vie du cluster.

Afficher les détails du cluster à l'aide de la AWS Management Console

La liste des clusters dans le fichier https://console.aws.amazon.com/emr répertorie tous les clusters de votre compte et de votre AWS région, y compris les clusters résiliés. La liste indique les informations suivantes pour chaque cluster : le nom et l'identifiant, le statut et les détails du statut, l'heure de création, le temps écoulé pendant lequel le cluster était en cours d'exécution et les heures d'instance normalisées accumulées pour toutes les EC2 instances du cluster. Cette liste est le point de départ pour surveiller le statut de vos clusters. Elle est conçue de sorte que vous puissiez explorer les détails de chaque cluster à des fins d'analyse et de dépannage.

Console
Pour afficher les informations du cluster à l'aide de la console

  1. Connectez-vous au et ouvrez AWS Management Console la EMR console Amazon à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMREC2Activé dans le volet de navigation de gauche, choisissez Clusters, puis sélectionnez le cluster que vous souhaitez afficher.

  3. Utilisez le panneau Résumé pour consulter les éléments de base de la configuration de votre cluster, tels que l'état du cluster, les applications open source EMR installées par Amazon sur le cluster et la version d'Amazon EMR que vous avez utilisée pour créer le cluster. Utilisez chaque onglet sous le Récapitulatif pour afficher les informations, comme décrit dans le tableau suivant.

Consultez les détails du cluster à l'aide du AWS CLI

Les exemples suivants illustrent comment récupérer les détails du cluster à l'aide de l' AWS CLI. Pour plus d'informations sur les commandes disponibles, consultez la référence des AWS CLI commandes pour Amazon EMR. Vous pouvez utiliser la commande describe-cluster pour afficher les détails au niveau du cluster, notamment l'état, la configuration matérielle et logicielle, les VPC paramètres, les actions d'amorçage, les groupes d'instances, etc. Pour de plus amples informations sur les états des clusters, consultez Présentation du cycle de vie du cluster. L'exemple suivant illustre l'utilisation de la commande describe-cluster, suivie par des exemples de la commande list-clusters.

Exemple Affichage de l'état d'un cluster

Pour utiliser la commande describe-cluster, vous avez besoin de l'ID de cluster. Cet exemple montre comment obtenir une liste de clusters créés dans une certaine plage de dates, puis comment utiliser l'un des clusters IDs renvoyés pour répertorier plus d'informations sur l'état d'un cluster individuel.

La commande suivante décrit le cluster j-1K48XXXXXXHCB, que vous remplacez par votre ID de cluster.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

Le sortie de votre commande est semblable à l'exemple suivant :

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
Exemple Affichage des clusters par date de création

Pour obtenir les clusters créés en une plage de temps donnée, utilisez la commande list-clusters avec les paramètres --created-after et --created-before.

La commande suivante répertorie tous les clusters créés entre le 09/10/2019 et le 12/10/2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
Exemple Affichage des clusters par état

Pour afficher les clusters par état, utilisez la commande list-clusters avec le paramètre --cluster-states. Les états de cluster valides incluent : STARTINGBOOTSTRAPPING,RUNNING,WAITING,TERMINATING,TERMINATED, et TERMINATED _ WITH _ERRORS. 

aws emr list-clusters --cluster-states TERMINATED

Vous pouvez également utiliser les paramètres de raccourci suivants pour afficher tous les clusters ayant les états spécifiés :

  • --activefiltre les clusters dans les TERMINATING états STARTING BOOTSTRAPPINGRUNNING,WAITING,, ou.

  • --terminatedfiltre les clusters dans l'TERMINATEDétat.

  • --failedle paramètre filtre les clusters à l'ERRORSétat TERMINATED WITH _ _.

Les commandes suivantes retournent le même résultat.

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

Pour de plus amples informations sur les états des clusters, consultez Présentation du cycle de vie du cluster.