View a markdown version of this page

Surveillance d'EMR HBase avec Amazon CloudWatch - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance d'EMR HBase avec Amazon CloudWatch

À partir d'EMR 7.0, Amazon EMR fournit l' CloudWatch agent Amazon pour envoyer des métriques à Prometheus ou à CloudWatch Prometheus, en remplacement du système de surveillance Ganglia. Vous trouverez plus de détails dans le guide de configuration de CloudWatch l'agent Amazon.

L' CloudWatch agent Amazon EMR 7.0 a fourni une intégration de base et sa configuration a nécessité des efforts manuels, tels que le téléchargement de composants et l'utilisation d'actions de démarrage. Cependant, à partir de la version 7.1 de l'EMR, le processus est simplifié. L'utilisation de l' CloudWatch agent Amazon dans EMR 7.1 permet de surveiller facilement les métriques au niveau du système et spécifiques à l'application, y compris celles pour HBase. En utilisant l'API de configuration EMR, vous pouvez rapidement configurer et personnaliser le processus de collecte des métriques, et choisir où envoyer les données, que ce soit à Amazon CloudWatch ou à Prometheus. Cette flexibilité vous permet de surveiller de près vos clusters HBase, afin de garantir leur fonctionnement fluide et efficace.

Utiliser l'API de configuration EMR pour gérer l'ensemble de la configuration, ce qui rend le processus beaucoup plus fluide. Dans EMR 7.1, l' CloudWatch agent prend en charge trois principaux types de métriques :

  • Mesures du système : elles incluent des indicateurs clés des performances du système, tels que : l'utilisation du processeur, l'utilisation du disque, l'utilisation de la mémoire, le réseau I/O, les processus et l'utilisation du swap.

  • Métriques du démon Hadoop : ces métriques concernent les différents composants de Hadoop, notamment : les métriques, les DataNode métriques, les métriques YARN et NameNode les NodeManager métriques YARN. ResourceManager

  • Métriques HBase — Ces mesures fournissent des informations sur les performances de HBase : métriques HBase Master, métriques HBase Region Server, métriques HBase REST Server et métriques HBase Thrift Server.

Using the AWS CLI

Toutes les métriques pour Hadoop et HBase le sont JMX-based, ce qui signifie qu'ils utilisent des extensions de gestion Java pour fournir des informations détaillées. Voici comment configurer Amazon CloudWatch Agent pour surveiller HBase :

  • Reportez-vous à la section Conditions préalables avant de créer un cluster avec Amazon CloudWatch Agent. Utilisez une create-cluster commande similaire à l'exemple qui apparaît après cette liste.

  • Reportez-vous aux configurations prises en charge pour un cluster HBase.

  • Reportez-vous à l'exemple qui suit pour des exemples de configurations pour configurer la surveillance HBase. Reportez-vous aux exemples de configurations pour l'--configurationentrée.

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir Configurer les métriques.

Using the console

Pour créer un cluster avec CloudWatch l'agent Amazon depuis la console, procédez comme suit :

Création d'un cluster avec l' CloudWatch agent depuis la console

  1. Connectez-vous à la Console de gestion AWS console Amazon EMR et ouvrez-la à l'adresse. https://console.aws.amazon.com/emr

  2. Choisissez Créer un cluster.

  3. Sous Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

  4. Sous Bundle d'applications, sélectionnez HBase et les applications supplémentaires que vous souhaitez installer sur votre cluster, et incluez CloudWatch l'agent dans vos sélections.

  5. Développez les paramètres du logiciel. Vous pouvez ensuite saisir la configuration directement à l'aide de JSON ou d’une syntaxe raccourcie présentée dans le texte ombré dans la console. Sinon, vous pouvez fournir un URI Amazon S3 pour un fichier avec un objet JSON Configurations. Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir Configurer les métriques.

  6. Procédez à la création du cluster adapté à votre cas d’utilisation.