Visualizza lo stato e i dettagli del cluster Amazon EMR - Amazon EMR
Visualizzazione dei dettagli del cluster con la AWS Management ConsoleVisualizza i dettagli del cluster utilizzando il AWS CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Visualizza lo stato e i dettagli del cluster Amazon EMR

Dopo la creazione di un cluster, puoi monitorarne lo stato e ottenere informazioni dettagliate sull'esecuzione dello stesso e sugli errori che possono verificarsi, anche dopo la terminazione del cluster. Per scopi di riferimento, Amazon EMR conserva i metadati relativi ai cluster terminati per due mesi; dopo questo periodo, i metadati vengono eliminati. Non puoi eliminare cluster dalla cronologia dei cluster, ma mediante AWS Management Console puoi utilizzare il comando Filter (Filtro) e con AWS CLI puoi utilizzare opzioni con il comando list-clusters per concentrare l'attenzione sui cluster che ti interessano.

Puoi accedere alla cronologia dell'applicazione archiviata nel cluster per una settimana dal momento in cui viene registrata, indipendentemente dal fatto che il cluster sia in esecuzione o terminato. Inoltre, le interfacce utente delle applicazioni persistenti archiviano la cronologia delle applicazioni fuori cluster per 30 giorni dopo la chiusura di un cluster. Consulta Visualizzazione della cronologia dell'applicazione

Per ulteriori informazioni sugli stati del cluster, ad esempio Waiting (In attesa) e Running (In esecuzione), consulta Comprensione del ciclo di vita del cluster.

Visualizzazione dei dettagli del cluster con la AWS Management Console

L'elenco dei cluster in https://console.aws.amazon.com/emr elenca tutti i cluster del tuo account e della tua AWS regione, inclusi i cluster terminati. L'elenco mostra quanto segue per ogni cluster: il nome e l'ID, i dettagli sullo stato e lo stato, l'ora di creazione, il tempo trascorso di esecuzione del cluster e le ore di istanza normalizzate accumulate per tutte le istanze del cluster. EC2 Questo elenco è il punto di partenza per monitorare lo stato dei cluster. È concepito per eseguire il drill-down dei dettagli di ogni cluster per scopi di analisi e di risoluzione dei problemi.

Console
Per visualizzare le informazioni sul cluster con la console

  1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

  2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster e seleziona il cluster che desideri visualizzare.

  3. Utilizza il pannello Summary (Riepilogo) per visualizzare informazioni di base sulla configurazione del cluster, ad esempio lo stato del cluster, le applicazioni open source che Amazon EMR ha installato nel cluster e la versione di Amazon EMR utilizzata per creare il cluster. Consulta ciascuna scheda in Summary (Riepilogo) per visualizzare le informazioni come descritto nella sezione seguente.

Visualizza i dettagli del cluster utilizzando il AWS CLI

I seguenti esempi illustrano come recuperare informazioni dettagliate sul cluster mediante l' AWS CLI. Per ulteriori informazioni sui comandi disponibili, consulta la Guida di riferimento ai comandi della AWS CLI per Amazon EMR. Puoi utilizzare il comando describe-cluster per visualizzare dettagli a livello del cluster, tra cui stato, configurazione hardware e software, impostazioni VPC, operazioni di bootstrap, gruppi di istanze e così via. Per ulteriori informazioni sugli stati del cluster, consulta Comprensione del ciclo di vita del cluster. L'esempio seguente illustra l'utilizzo del comando describe-cluster, seguito da esempi del comando list-clusters.

Esempio Visualizzazione dello stato del cluster

Per utilizzare il comando describe-cluster, è necessario l'ID del cluster. Questo esempio dimostra come utilizzare per ottenere un elenco di cluster creati entro un determinato intervallo di date e quindi utilizzare uno dei cluster IDs restituiti per elencare ulteriori informazioni sullo stato di un singolo cluster.

Il comando seguente descrive il clusterj-1K48XXXXXXHCB, che sostituisci con il tuo ID del cluster.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

L'output del comando è simile a quanto segue:

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
Esempio Visualizzazione dei cluster per data di creazione

Per recuperare i cluster creati entro un determinato intervallo di tempo, utilizza il comando list-clusters con i parametri --created-after e --created-before.

Il comando seguente elenca tutti i cluster creati tra il 9 ottobre 2019 e il 12 ottobre 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
Esempio Visualizzazione dei cluster per stato

Per elencare i cluster per stato, utilizza il comando list-clusters con il parametro --cluster-states. Lo stato dei cluster validi può essere: STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED e TERMINATED_WITH_ERRORS. 

aws emr list-clusters --cluster-states TERMINATED

Puoi anche utilizzare i parametri seguenti per elencare tutti i cluster negli stati specificati.

  • --active filtra i cluster il cui stato è STARTING, BOOTSTRAPPING, RUNNING, WAITING o TERMINATING.

  • --terminated filtra i cluster il cui stato è TERMINATED.

  • Il parametro --failed filtra i cluster il cui stato è TERMINATED_WITH_ERRORS.

I seguenti comandi restituiscono lo stesso risultato.

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

Per ulteriori informazioni sugli stati del cluster, consulta Comprensione del ciclo di vita del cluster.