Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervisión de EMR HBase con Amazon CloudWatch
A partir de EMR 7.0, Amazon EMR proporciona el Amazon CloudWatch Agent para enviar las métricas o CloudWatch Prometheus, en sustitución del sistema de monitorización Ganglia. Encontrarás más detalles en la Guía de configuración de Amazon CloudWatch Agent.
El CloudWatch agente Amazon EMR 7.0 proporcionaba una integración básica y su configuración requería un esfuerzo manual, como descargar componentes y utilizar acciones de arranque. Sin embargo, a partir de EMR 7.1, el proceso se simplifica. El uso de Amazon CloudWatch Agent en EMR 7.1 facilita la supervisión de las métricas a nivel del sistema y específicas de la aplicación, incluidas las de HBase. Al usar la API de configuración de EMR, puede configurar y personalizar rápidamente el proceso de recopilación de métricas y elegir dónde enviar los datos, ya sea a Amazon CloudWatch o Prometheus. Esta flexibilidad le ayuda a vigilar de cerca sus clústeres de HBase, lo que garantiza que funcionen sin problemas y de manera eficiente.
El uso de la API de configuración de EMR para gestionar toda la configuración facilita mucho el proceso. El CloudWatch agente de EMR 7.1 admite tres tipos principales de métricas:
Métricas del sistema: incluyen indicadores clave del rendimiento del sistema, como el uso de la CPU, el uso del disco, el uso de la memoria, la red I/O, los procesos y el uso del intercambio.
Métricas de Hadoop Daemon: estas métricas se refieren a los distintos componentes de Hadoop, que incluyen: DataNode métricas, métricas, métricas YARN y NameNode NodeManager métricas YARN. ResourceManager
Métricas de HBase: estas métricas proporcionan información sobre el rendimiento de HBase: métricas de HBase Master, métricas de servidores de región de HBase, métricas de servidores REST de HBase y métricas de servidores HBase Thrift.
- Using the AWS CLI
-
Todas las métricas de Hadoop y HBase lo son JMX-based, lo que significa que utilizan Java Management Extensions para proporcionar información detallada. Así es como puedes configurar Amazon CloudWatch Agent para monitorear HBase:
Consulta los requisitos previos antes de crear un clúster con Amazon CloudWatch Agent. Utilice un comando create-cluster similar al ejemplo que aparece después de esta lista.
Consulte las configuraciones compatibles con un clúster de HBase.
Consulte el siguiente ejemplo para ver muestras de ajustes para configurar la supervisión de HBase. Consulte los ejemplos de configuraciones para la entrada --configuration.
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte Set up metrics.
- Using the console
-
Para crear un clúster con el CloudWatch agente de Amazon desde la consola, sigue estos pasos:
Cree un clúster con el CloudWatch agente desde la consola
-
Inicie sesión en y abra la Consola de administración de AWS consola de Amazon EMR en. https://console.aws.amazon.com/emr
-
Elija Create cluster.
-
En Nombre y aplicaciones, elija la versión de Amazon EMR 7.0.0 o posterior.
En Paquete de aplicaciones, seleccione HBase y las aplicaciones adicionales que desee instalar en su clúster e incluya el CloudWatch agente en sus selecciones.
Amplíe la configuración del software. A continuación, puede introducir la configuración directamente a través de JSON o una sintaxis abreviada mostrada en el texto en sombra en la consola. De lo contrario, puede proporcionar una URI de Amazon S3 para un archivo con un objeto Configurations de JSON. Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte Configuración de métricas.
Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso.
