View a markdown version of this page

Monitoraggio di EMR HBase con Amazon CloudWatch - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio di EMR HBase con Amazon CloudWatch

A partire da EMR 7.0, Amazon EMR fornisce l'agente CloudWatch Amazon per inviare i parametri a CloudWatch o Prometheus, sostituendo il sistema di monitoraggio Ganglia. Puoi trovare maggiori dettagli nella Amazon CloudWatch Agent Configuration Guide.

L'agente CloudWatch Amazon EMR 7.0 ha fornito l'integrazione di base e la sua configurazione ha richiesto un intervento manuale, come il download di componenti e l'utilizzo di azioni di bootstrap. Tuttavia, a partire da EMR 7.1, il processo è semplificato. L'utilizzo di Amazon CloudWatch Agent in EMR 7.1 semplifica il monitoraggio delle metriche a livello di sistema e specifiche dell'applicazione, incluse quelle per HBase. Utilizzando l'API di configurazione EMR, puoi configurare e personalizzare rapidamente il processo di raccolta delle metriche e scegliere dove inviare i dati, ad Amazon o Prometheus. CloudWatch Questa flessibilità ti aiuta a tenere d'occhio i tuoi cluster HBase, assicurando che funzionino in modo fluido ed efficiente.

Utilizzo dell'API di configurazione EMR per gestire l'intera configurazione, rendendo il processo molto più fluido. L' CloudWatch agente in EMR 7.1 supporta tre tipi principali di metriche:

  • Metriche di sistema: includono indicatori chiave delle prestazioni del sistema, come: utilizzo della CPU, utilizzo del disco, utilizzo della memoria, rete I/O, processi e utilizzo dello swap.

  • Hadoop Daemon Metrics: queste metriche si riferiscono ai vari componenti di Hadoop, tra cui: metriche, metriche, metriche YARN e DataNode metriche YARN. NameNode NodeManager ResourceManager

  • Metriche HBase: queste metriche forniscono informazioni sulle prestazioni di HBase: metriche HBase Master, metriche HBase Region Server, metriche HBase REST Server e metriche HBase Thrift Server.

Using the AWS CLI

Tutte le metriche per Hadoop e HBase lo sono, il che significa che utilizzano Java Management Extensions per fornire informazioni dettagliate. JMX-based Ecco come configurare Amazon CloudWatch Agent per monitorare HBase:

  • Fai riferimento ai prerequisiti prima di creare un cluster con Amazon CloudWatch Agent. Usa un create-cluster comando simile all'esempio che appare dopo questo elenco.

  • Consulta le configurazioni supportate per un cluster HBase.

  • Fate riferimento all'esempio che segue, ad esempio, sulle configurazioni per configurare il monitoraggio HBase. Fate riferimento alle configurazioni di esempio per l'input. --configuration

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

Per ulteriori informazioni sulle configurazioni di esempio JSON per le metriche, consulta Configurare le metriche.

Using the console

Per creare un cluster con Amazon CloudWatch Agent dalla console, esegui questi passaggi:

Crea un cluster con l' CloudWatch agente dalla console

  1. Accedi a e apri Console di gestione AWS la console Amazon EMR all'indirizzo. https://console.aws.amazon.com/emr

  2. Scegli Crea cluster.

  3. In Nome e applicazioni, scegli la versione di Amazon EMR 7.0.0 o una versione successiva.

  4. In Application bundle, seleziona HBase e le app aggiuntive che desideri installare nel cluster e includi l' CloudWatch agente tra le tue selezioni.

  5. Espandi le impostazioni del software. Puoi quindi immettere la configurazione direttamente utilizzando JSON o una sintassi abbreviata illustrata nel testo ombreggiato nella console. In caso contrario, puoi fornire un URI Amazon S3 per un file con un oggetto Configurations JSON. Per ulteriori informazioni sulle configurazioni di esempio JSON per le metriche, consulta Configurare le metriche.

  6. Procedi con la creazione del cluster per soddisfare le esigenze dei tuoi casi d'uso.