Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervisión de EMR HBase con Amazon CloudWatch
A partir de EMR 7.0, Amazon EMR proporciona el Amazon CloudWatch Agent para enviar métricas a Prometheus CloudWatch o a Prometheus, en sustitución del sistema de monitorización de Ganglia. Puede encontrar más información en la guía de configuración de Amazon Agent. CloudWatch
El CloudWatch agente de Amazon EMR 7.0 proporcionaba una integración básica y su configuración requería un esfuerzo manual, como descargar componentes y utilizar acciones de arranque. Sin embargo, a partir de EMR 7.1, el proceso se simplifica. El uso del Amazon CloudWatch Agent en EMR 7.1 facilita la supervisión de las métricas a nivel del sistema y específicas de la aplicación, incluidas las de HBase. Al usar la API de configuración de EMR, puede configurar y personalizar rápidamente el proceso de recopilación de métricas y elegir dónde enviar los datos, ya sea a Amazon o Prometheus. CloudWatch Esta flexibilidad le ayuda a vigilar de cerca sus clústeres de HBase, lo que garantiza que funcionen sin problemas y de manera eficiente.
El uso de la API de configuración de EMR para gestionar toda la configuración facilita mucho el proceso. El CloudWatch agente de EMR 7.1 admite tres tipos principales de métricas:
Métricas del sistema: incluyen los indicadores clave del rendimiento del sistema, como el uso de la CPU, el uso del disco, el uso de la memoria, la red I/O, los procesos y el uso de intercambios.
Métricas de Hadoop Daemon: estas métricas se relacionan con los distintos componentes de Hadoop, como DataNode las métricas, las métricas de YARN y NameNode las métricas de YARN NodeManager . ResourceManager
Métricas de HBase: estas métricas proporcionan información sobre el rendimiento de HBase: métricas de HBase Master, métricas de servidores de región de HBase, métricas de servidores REST de HBase y métricas de servidores HBase Thrift.
- Using the AWS CLI
-
Todas las métricas de Hadoop y HBase lo son JMX-based, lo que significa que utilizan las extensiones de administración de Java para proporcionar información detallada. A continuación, le indicamos cómo configurar Amazon CloudWatch Agent para supervisar HBase:
Consulte los requisitos previos antes de crear un clúster con Amazon CloudWatch Agent. Utilice un comando create-cluster similar al ejemplo que aparece después de esta lista.
Consulte las configuraciones compatibles con un clúster de HBase.
Consulte el siguiente ejemplo para ver muestras de ajustes para configurar la supervisión de HBase. Consulte los ejemplos de configuraciones para la entrada --configuration.
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte Set up metrics.
- Using the console
-
Para crear un clúster con el CloudWatch agente de Amazon desde la consola, lleve a cabo estos pasos:
Crea un clúster con el CloudWatch agente desde la consola
-
Inicie sesión en y abra la Consola de administración de AWS consola de Amazon EMR en https://console.aws.amazon.com/emr.
-
Elija Create cluster.
-
En Nombre y aplicaciones, elija la versión de Amazon EMR 7.0.0 o posterior.
En Paquete de aplicaciones, seleccione HBase y las aplicaciones adicionales que quiera instalar en su clúster e incluya el CloudWatch agente en sus selecciones.
Amplíe la configuración del software. A continuación, puede introducir la configuración directamente a través de JSON o una sintaxis abreviada mostrada en el texto en sombra en la consola. De lo contrario, puede proporcionar una URI de Amazon S3 para un archivo con un objeto Configurations de JSON. Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte Configuración de métricas.
Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso.
