View a markdown version of this page

Surveillance d'EMR HBase avec Amazon CloudWatch - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance d'EMR HBase avec Amazon CloudWatch

À partir de la version 7.0 d'Amazon EMR, Amazon EMR fournit l' CloudWatch agent Amazon pour envoyer des métriques à CloudWatch Prometheus, en remplacement du système de surveillance Ganglia. Vous trouverez plus de détails dans le Guide de configuration des CloudWatch agents Amazon.

L' CloudWatch agent Amazon EMR 7.0 a fourni une intégration de base et sa configuration a nécessité des efforts manuels, tels que le téléchargement de composants et l'utilisation d'actions de bootstrap. Cependant, à partir de l'EMR 7.1, le processus est simplifié. L'utilisation de l' CloudWatch agent Amazon dans EMR 7.1 permet de surveiller facilement les métriques au niveau du système et spécifiques à l'application, y compris celles relatives à HBase. À l'aide de l'API de configuration EMR, vous pouvez rapidement configurer et personnaliser le processus de collecte des métriques, et choisir où envoyer les données, à Amazon CloudWatch ou à Prometheus. Cette flexibilité vous permet de surveiller de près vos clusters HBase, afin de garantir leur bon fonctionnement et leur efficacité.

Utilisation de l'API de configuration EMR pour gérer l'ensemble de la configuration, ce qui rend le processus beaucoup plus fluide. L' CloudWatch agent d'EMR 7.1 prend en charge trois principaux types de métriques :

  • Métriques du système  : elles incluent des indicateurs clés des performances du système, tels que : l'utilisation du processeur, l'utilisation du disque, l'utilisation de la mémoire, le réseau I/O, les processus et l'utilisation du swap.

  • Métriques du démon Hadoop  : ces métriques concernent les différents composants de Hadoop, notamment : les DataNode métriques, les métriques YARN et NameNode les NodeManager métriques YARN. ResourceManager

  • Métriques HBase  : ces métriques fournissent des informations sur les performances de HBase : métriques HBase Master, métriques HBase Region Server, métriques HBase REST Server et HBase Thrift Server.

Using the AWS CLI

Toutes les métriques pour Hadoop et HBase le sont JMX-based, ce qui signifie qu'ils utilisent les extensions de gestion Java pour fournir des informations détaillées. Voici comment configurer Amazon CloudWatch Agent pour surveiller HBase :

  • Reportez-vous à la section Conditions préalables avant de créer un cluster avec Amazon CloudWatch Agent. Utilisez une create-cluster commande similaire à l'exemple qui apparaît après cette liste.

  • Consultez les configurations prises en charge pour un cluster HBase.

  • Reportez-vous à l'exemple suivant pour obtenir des exemples de configurations pour configurer la surveillance HBase. Reportez-vous aux exemples de configurations pour l'--configurationentrée.

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir Configurer les métriques.

Using the console

Pour créer un cluster avec un CloudWatch agent Amazon depuis la console, effectuez les opérations suivantes :

Créez un cluster avec l' CloudWatch agent depuis la console

  1. Connectez-vous au et ouvrez Console de gestion AWS la console Amazon EMR à https://console.aws.amazon.com/emr l'adresse.

  2. Choisissez Créer un cluster.

  3. Sous Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

  4. Dans la section Ensemble d'applications, sélectionnez HBase et les applications supplémentaires que vous souhaitez installer sur votre cluster, et incluez CloudWatch un agent dans vos sélections.

  5. Développez les paramètres du logiciel. Vous pouvez ensuite saisir la configuration directement à l'aide de JSON ou d’une syntaxe raccourcie présentée dans le texte ombré dans la console. Sinon, vous pouvez fournir un URI Amazon S3 pour un fichier avec un objet JSON Configurations. Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir Configurer les métriques.

  6. Procédez à la création du cluster adapté à votre cas d’utilisation.