Monitoraggio di HBase con Ganglia - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio di HBase con Ganglia

Il progetto open source Ganglia è un sistema scalabile e distribuito, progettato per monitorare i cluster e le griglie riducendo al minimo l'impatto sulle loro prestazioni. Quando abiliti Ganglia sul cluster, puoi generare report e visualizzare le prestazioni del cluster nel suo insieme, nonché esaminare le prestazioni di singole istanze nodi. Per ulteriori informazioni sul progetto open source Ganglia, consulta http://ganglia.info/. Per ulteriori informazioni sull'uso di Ganglia con cluster Amazon EMR, consulta Ganglia.

Dopo l'avvio del cluster con Ganglia configurato, è possibile accedere ai grafici e ai report di Ganglia utilizzando l'interfaccia grafica in esecuzione sul nodo primario.

Ganglia memorizza i file di registro sul nodo primario della directory. /mnt/var/lib/ganglia/rrds/ In versioni precedenti di Amazon EMR è possibile che i file di log vengano archiviati nella directory /var/log/ganglia/rrds/.

Per configurare un cluster per Ganglia e HBase utilizzando il AWS CLI

  • Utilizzare un comando create-cluster simile al seguente:

    aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    Nota

    Se il ruolo del servizio Amazon EMR predefinito e il profilo dell'istanza Amazon EC2 non esistono, si verifica un errore. Utilizza il comando aws emr create-default-roles per crearli e riprovare.

    Per ulteriori informazioni, consulta Comandi Amazon EMR nella AWS CLI.

Per visualizzare parametri HBase nell'interfaccia Web Ganglia

  1. Usa SSH per accedere al nodo primario e creare una connessione sicura. Per ulteriori informazioni, consulta Opzione 2, parte 1: configurare un tunnel SSH verso il nodo primario utilizzando il port forwarding dinamico nella Amazon EMR Management Guide.

  2. Installa un browser Web con uno strumento proxy, come il FoxyProxy plug-in per Firefox, per creare un proxy SOCKS per i domini. AWS Per ulteriori informazioni, consulta Opzione 2, parte 2: Configurare le impostazioni proxy per visualizzare i siti Web ospitati sul nodo primario nella Amazon EMR Management Guide.

  3. Con il proxy impostato e la connessione SSH aperta, puoi visualizzare le metriche di Ganglia aprendo una finestra del browser con http://master-public-dns-name/ganglia/, master-public-dns-namedov'è l'indirizzo DNS pubblico del server master nel cluster HBase.

Per visualizzare i file di log di Ganglia sul nodo primario

  • Se il cluster è ancora in esecuzione, è possibile accedere ai file di registro utilizzando SSH per connettersi al nodo primario e navigare verso la directory. /mnt/var/lib/ganglia/rrds/ Su EMR 3.x, passa alla directory /var/log/ganglia/rrds. Per ulteriori informazioni, consulta la sezione Connect to the primary node using SSH (Connessione al nodo primario tramite SSH) nella Guida alla gestione di Amazon EMR.

Visualizzazione dei file di log Ganglia su Amazon S3

  • I file di log Ganglia non vengono scritti automaticamente in Amazon S3 anche quando la registrazione per il cluster è abilitata. Per visualizzare i file di log Ganglia in Amazon S3, è necessario eseguire manualmente il push dei log da /mnt/var/lib/ganglia/rrds/ al bucket S3.