Configurer CloudWatch l'agent pour Amazon EMR 7.0.0

1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les mesures de l' CloudWatch agent.

2. Créez le fichier de configuration emr-amazon-cloudwatch-agent.json en spécifiant vos métriques préférées. Pour ce faire, utilisez l'une des méthodes décrites dans la section Création du fichier de configuration de l' CloudWatch agent. Pour plus d'informations sur la structure du fichier de configuration de l' CloudWatch agent, voir Créer ou modifier manuellement le fichier de configuration de l' CloudWatch agent dans le guide de CloudWatch l'utilisateur Amazon.

3. Ensuite, accédez au aws-emr-utilities référentiel GitHub et téléchargez les scripts de métriques système suivants :

   • install_system_metrics_launcher.sh – Script qui télécharge et exécute install_system_metrics.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • install_system_metrics.sh – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans le fichier JSON.

4. Ouvrez chaque fichier SH et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 1.

5. Chargez un fichier JSON et deux fichiers SH dans votre compartiment S3.

6. Vous pouvez maintenant accéder à la console Amazon EMR et créer un nouveau cluster avec l' CloudWatch agent. Dans le volet de navigation de gauche, sous EMR sur EC2, sélectionnez Clusters, puis Créer un cluster.

7. Dans la section Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

8. Sous Ensemble d'applications, sélectionnez le bundle ou les applications que vous souhaitez installer sur votre cluster et incluez Amazon CloudWatch Agent dans vos sélections.

9. Dans la section Actions d’amorçage, sélectionnez Ajouter.

   • Pour le Nom, insérez install_system_metrics_launcher.sh.

   • Pour l’Emplacement du script, insérez s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Remplacez amzn-s3-demo-bucket par le chemin de votre compartiment S3.

   • Laissez le bloc Arguments vide.

10. Sélectionnez Ajouter une action d'amorçage.

11. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.

1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les mesures de l' CloudWatch agent.

2. Ensuite, accédez au aws-emr-utilities dépôt GitHub et téléchargez les scripts suivants :

   • install_app_metrics_launcher.sh – Script qui télécharge et exécute install_app_metrics.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • install_app_metrics.sh – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans les fichiers YAML que vous allez télécharger lors d’une prochaine étape.

3. Ouvrez chaque fichier et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 1.

4. Téléchargez ensuite les fichiers de mappage YAML suivants. Pour plus d'informations sur la structure de ces fichiers YAML, consultez javaagent le OpenTelemetry Instrumentation for Java GitHub référentiel.

   • datanode-metrics.yaml –Configuration des métriques Hadoop DataNode.

   • namenode-metrics.yaml –Configuration des métriques Hadoop NameNode.

   • nodemanager-metrics.yaml –Configuration des métriques Yarn NodeManager.

   • resourcemanager-metrics.yaml –Configuration des métriques Yarn ResourceManager.

5. Chargez les deux fichiers SH et quatre fichiers YAML dans votre compartiment S3.

6. Vous pouvez maintenant accéder à la console Amazon EMR et créer un nouveau cluster avec l' CloudWatch agent. Dans le volet de navigation de gauche, sous EMR sur EC2, sélectionnez Clusters, puis Créer un cluster.

7. Dans la section Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

8. Sous Ensemble d'applications, sélectionnez le bundle ou le groupe personnalisé d'applications que vous souhaitez installer sur votre cluster, et incluez CloudWatch un agent dans vos sélections.

9. Dans la section Actions d’amorçage, sélectionnez Ajouter.

   • Pour le Nom, insérez install_app_metrics_launcher.sh.

   • Pour l’Emplacement du script, insérez s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Remplacez amzn-s3-demo-bucket par le chemin de votre compartiment S3.

   • Laissez le bloc Arguments vide.

10. Sélectionnez Ajouter une action d'amorçage.

11. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.

Utiliser l' CloudWatch agent sur un cluster EMR pour publier des métriques sur Amazon Managed Service for Prometheus

Une fois que la politique de service dispose des autorisations appropriées, procédez comme suit pour lancer un cluster qui utilise l' CloudWatch agent pour publier des métriques sur Amazon Managed Service for Prometheus.

1. Utilisez le Console de gestion AWS ou AWS CLI pour créer un espace de travail Amazon Managed Service pour Prometheus. Pour plus d’informations, voir la rubrique Création d’un Workspace du Guide de l’utilisateur Amazon Managed Service for Prometheus.

2. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de lancement qui spécifient Amazon Managed Service for Prometheus en tant qu’espace de stockage cloud.

3. Ensuite, accédez au aws-emr-utilities dépôt GitHub et téléchargez les scripts suivants :

   • add_prometheus_endpoint_launcher.sh – Script qui télécharge et exécute add_prometheus_endpoint.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • add_prometheus_endpoint.sh— Un script qui attend la fin du démarrage de l'instance sur laquelle il s'exécute, puis configure l' CloudWatch agent à publier sur le point de terminaison Amazon Managed Service for Prometheus que vous fournissez comme argument lorsque vous lancez votre cluster.

4. Ouvrez chaque fichier et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 2.

5. Utilisez le AWS CLI pour créer un cluster EMR avec l'action add_prometheus_endpoint_launcher.sh bootstrap. Dans la commande suivante, remplacez amzn-s3-demo-bucket par le compartiment contenant l’action d’amorçage et remplacez managedpro-remote-write-workspace-url par le point de terminaison d’écriture à distance pour votre Workspace Amazon Managed Service for Prometheus. Assurez-vous de spécifier une étiquette de version Amazon EMR emr-7.0.0 ou ultérieure.

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Utiliser Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana

Une fois qu’Amazon EMR a publié les métriques du cluster sur Amazon Managed Service for Prometheus, procédez comme suit pour visualiser les métriques avec Amazon Managed Grafana :

1. Utilisez le Console de gestion AWS pour créer un espace de travail Amazon Managed Grafana et un utilisateur doté des autorisations appropriées. Pour plus d’informations, voir la rubrique Création d’un Workspace du Guide de l’utilisateur Amazon Managed Grafana.

2. Ajoutez votre Workspace Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana. Pour plus d’informations, voir la rubrique Utiliser la configuration de la source de données AWS pour ajouter Amazon Managed Service for Prometheus en tant que source de données du Guide de l’utilisateur Amazon Managed Grafana.