Schéma de configuration Exemples de configurations de métriques système Exemples de configurations de métriques d'application Exemple d'Amazon Managed Service pour Prometheus

Configurer CloudWatch l'agent pour Amazon EMR 7.1.0

À partir d'Amazon EMR 7.1.0, vous pouvez configurer l' CloudWatch agent Amazon pour utiliser des mesures système supplémentaires, ajouter des mesures d'application et modifier la destination des mesures à l'aide de l'API de configuration Amazon EMR. Pour plus d'informations sur l'utilisation de l'API de configuration EMR pour configurer les applications de votre cluster, consultez la section Configuration des applications.

Note

La version 7.1.0 ne prend en charge que le type de reconfiguration. OVERWRITE Pour plus d'informations sur les types de reconfiguration, consultez la section Considérations relatives à la reconfiguration d'un groupe d'instances.

Rubriques

Schéma de configuration
Exemples de configurations de métriques système
Exemples de configurations de métriques d'application
Exemple d'Amazon Managed Service pour Prometheus

Schéma de configuration

emr-metricspossède les classifications suivantes :

emr-system-metrics— configurez les paramètres du système, tels que le processeur, le disque et la mémoire.
emr-hadoop-hdfs-datanode-metrics— configurer les métriques Hadoop JMX DataNode
emr-hadoop-hdfs-namenode-metrics— configurer les métriques Hadoop JMX NameNode
emr-hadoop-yarn-nodemanager-metrics— configurer les métriques Yarn NodeManager JMX
emr-hadoop-yarn-resourcemanager-metrics— configurer les métriques Yarn ResourceManager JMX
emr-hbase-master-metrics— configurer les métriques JMX de HBase Master
emr-hbase-region-server-metrics— configurer les métriques JMX du serveur de région HBase
emr-hbase-rest-server-metrics— configurer les métriques JMX du serveur HBase REST
emr-hbase-thrift-server-metrics— configurer les métriques JMX de HBase Thrift Server

Les tableaux suivants décrivent les propriétés et les configurations disponibles pour toutes les classifications.

propriétés emr-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics_destination`	Facultatif	Détermine si les métriques du cluster sont publiées sur Amazon CloudWatch ou Amazon Managed Service for Prometheus.	« CLOUDWATCH »	« CLOUDWATCH », « PROMÉTHÉE »	Cette propriété ne fait pas la distinction majuscules/minuscules. Par exemple, « Cloudwatch » est identique à « CLOUDWATCH ».
`prometheus_endpoint`	Facultatif	Si elle `metrics_destination` est définie sur « PROMETHEUS », cette propriété configure l' CloudWatch agent pour qu'il envoie des métriques au point de terminaison d'écriture distant Amazon Managed Service for Prometheus fourni.	N/A	Toute URL d'écriture à distance valide d'Amazon Managed Service for Prometheus. Le format d'URL d'écriture à distance est `https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write`	Ce champ est obligatoire s'il `metrics_destination` est défini sur « PROMETHEUS ». Le provisionnement échouera si vous ne fournissez pas de clé ou si la valeur est une chaîne vide.

propriétés emr-system-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes que les métriques sont collectées et publiées par l' CloudWatch agent.	« 60 »	Chaîne indiquant le nombre de secondes. N'accepte que les nombres entiers.	Vous pouvez remplacer cette propriété par la `metrics_collection_interval` propriété des groupes de mesures individuels.

configurations emr-system-metrics

cpu

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques du processeur que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Une liste séparée par des virgules de noms de métriques de processeur valides avec ou sans le `cpu_` préfixe, tels que et. `usage_active` `cpu_time_idle` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique du processeur.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier les métriques du processeur.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les métriques du processeur.
`drop_original_metrics`	Facultatif	Liste des mesures du processeur pour lesquelles il ne faut pas publier de mesures non agrégées.	Aucune métrique CPU non agrégée n'a été publiée.	Liste de métriques du processeur séparées par des virgules qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du processeur doivent être publiées.	L' CloudWatch agent regroupe toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
`resources`	Facultatif	Détermine si l'agent publiera des métriques par cœur.	"*"	« * » active les métriques par cœur. « » désactive les métriques par cœur.	L' CloudWatch agent publie uniquement des métriques par cœur pour les métriques du processeur qui ne sont pas supprimées. `drop_original_metrics`

disk

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques de disque que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques de disque valides, séparés par des virgules, avec ou sans le `disk_` préfixe, tels que et. `disk_total` `used_percent` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique de disque.
`metrics_collection_interval`	Facultatif	Fréquence, en quelques secondes, à laquelle l'agent doit collecter et publier des métriques relatives aux disques.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les métriques de disque.
`drop_original_metrics`	Facultatif	Liste des métriques de disque pour lesquelles il ne faut pas publier de métriques non agrégées.	Aucune métrique de disque non agrégée n'a été publiée.	Liste de métriques de disque séparées par des virgules qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du disque doivent être publiées.	L' CloudWatch agent regroupe toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
`resources`	Facultatif	Détermine si l'agent publiera des métriques par point de montage.	"*"	« * » signifie tous les points de montage, « » signifie aucun point de montage ou une liste de points de montage séparés par des virgules. Par exemple : `"/,/emr"`.	L' CloudWatch agent publie uniquement des métriques par point de montage pour les métriques de disque qui ne sont pas supprimées. `drop_original_metrics`

diskio

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques d'E/S disque que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques d'E/S de disque valides, séparés par des virgules, avec ou sans le `diskio_` préfixe, tels que et. `diskio_reads` `writes` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publierez aucune métrique d'E/S sur le disque.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier des métriques d'E/S sur disque.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les métriques d'E/S du disque.
`drop_original_metrics`	Facultatif	Liste des mesures d'E/S de disque pour lesquelles il ne faut pas publier de mesures non agrégées.	Aucune métrique d'E/S de disque non agrégée n'a été publiée.	Liste de métriques d'E/S de disque séparées par des virgules qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques d'E/S du disque doivent être publiées.	L' CloudWatch agent regroupe toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
`resources`	Facultatif	Détermine si l'agent publiera des métriques par appareil.	"*"	« * » signifie tous les périphériques de stockage, « » signifie aucun périphérique de stockage, ou une liste de noms de périphériques séparés par des virgules. Par exemple : `"nvme0n1,nvme1n1"`.	L' CloudWatch agent publie uniquement des métriques par appareil pour les métriques d'E/S disque qui ne sont pas supprimées. `drop_original_metrics`

mem

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques de mémoire que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques de mémoire valides, séparés par des virgules, avec ou sans le `mem_` préfixe, tels que et. `mem_available` `available_percent` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique de mémoire.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier des mesures de mémoire.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les mesures de mémoire.

net

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques réseau que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques réseau valides séparés par des virgules, avec ou sans le `net_` préfixe, tels que et. `net_packets_sent` `packets_recv` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique réseau.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier les métriques du réseau.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les mesures du réseau.
`drop_original_metrics`	Facultatif	Liste des métriques réseau pour lesquelles il ne faut pas publier de métriques non agrégées.	Aucune métrique de réseau non agrégée n'a été publiée.	Liste de métriques réseau séparées par des virgules qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du réseau doivent être publiées.	L' CloudWatch agent regroupe toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
`resources`	Facultatif	Détermine si l'agent publiera des métriques par interface.	"*"	« * » signifie toutes les interfaces réseau, « » signifie aucune interface réseau ou une liste de noms d'interfaces séparés par des virgules. Par exemple : `"eth0,eth1"`.	L' CloudWatch agent publie uniquement des métriques par interface pour les métriques réseau qui ne sont pas supprimées. `drop_original_metrics`

netstat

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques de statistiques réseau que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques de mémoire valides, séparés par des virgules, avec ou sans le `netstat_` préfixe, tels que et. `tcp_listen` `netstat_udp_socket` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique statistique réseau.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier les statistiques du réseau.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les mesures statistiques du réseau.

processes

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques de processus que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques de mémoire valides, séparés par des virgules, avec ou sans le `processes_` préfixe, tels que et. `processes_running` `total` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publiez aucune métrique de processus.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier les métriques des processus du système.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les métriques de processus système.

swap

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles	Remarques
`metrics`	Facultatif	La liste des métriques d'échange que l'agent doit collecter.	Voir les statistiques par défaut pour les CloudWatch agents avec Amazon EMR	Liste de noms de métriques de mémoire valides, séparés par des virgules, avec ou sans le `swap_` préfixe, tels que et. `swap_free` `used_percent` Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides.	La spécification d'une chaîne vide signifie que vous ne publierez aucune métrique d'échange.
`metrics_collection_interval`	Facultatif	Fréquence en quelques secondes à laquelle l'agent doit collecter et publier des métriques de swap.	La valeur du global`metrics_collection_interval`.	Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers.	Cette valeur remplace la `metrics_collection_interval` propriété globale uniquement pour les métriques d'échange.

propriétés de emr-hadoop-hdfs-datanode-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=DataNode,name=DataNodeActivity`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `BlocksCached,BlocksRead`.
`otel.metric.export.interval`	Facultatif	Fréquence de collecte des métriques DataNode Hadoop, en millisecondes.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hadoop-hdfs-namenode-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=NameNode,name=FSNamesystem`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `BlockCapacity,CapacityUsedGB`.
`otel.metric.export.interval`	Facultatif	Fréquence de collecte des métriques NameNode Hadoop, en millisecondes.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés de emr-hadoop-yarn-nodemanager-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=NodeManager,name=NodeManagerMetrics`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `MaxCapacity,AllocatedGB`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques Hadoop YARN. NodeManager	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hadoop-yarn-resourcemanager-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=ResourceManager,name=PartitionQueueMetrics`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `MaxCapacity,MaxCapacityVCores`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques Hadoop YARN. ResourceManager	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hbase-master-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=HBase,name=Master,sub=AssignmentManager`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `AssignFailedCount,AssignSubmittedCount`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques HBase Master.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hbase-region-server-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=HBase,name=RegionServer,sub=IPC`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `numActiveHandler,numActivePriorityHandler`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques du serveur de région HBase.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hbase-rest-server-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=HBase,name=REST`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `successfulPut,successfulScanCount`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques du serveur HBase Rest.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

propriétés emr-hbase-thrift-server-metrics

Propriété	Obligatoire	Description	Valeur par défaut	Valeurs possibles
`<custom_bean_name>`	Facultatif	N/A	Le MBean à partir CloudWatch duquel l'agent doit collecter des métriques, telles que`Hadoop:service=HBase,name=Thrift,sub=ThriftOne`. Vous trouverez des exemples de noms de MBean et leurs métriques correspondantes dans les exemples de fichiers JMX YAML pour Amazon EMR version 7.0.	Chaîne contenant la liste des métriques, séparées par des virgules, associées au MBean. Par exemple : `BatchGet_max,BatchGet_mean`.
`otel.metric.export.interval`	Facultatif	Fréquence, en millisecondes, de collecte des métriques du serveur HBase Thrift.	« 600 000 »	Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

Exemples de configurations de métriques système

L'exemple suivant montre comment configurer l' CloudWatch agent pour arrêter d'exporter toutes les métriques du système.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

L'exemple suivant configure l' CloudWatch agent pour qu'il exporte les métriques système par défaut. Cela constitue un moyen rapide de réinitialiser l'agent pour qu'il n'exporte que les métriques système par défaut si vous les avez déjà reconfigurées au moins une fois. Cette réinitialisation supprime également toutes les métriques de l'application qui ont été reconfigurées auparavant.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

L'exemple suivant configure le cluster pour exporter les cpumem, et les disk métriques.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

L'exemple de configuration précédent possède les propriétés suivantes :

Toutes les 30 secondes, l'agent collecte la cpu_guest métrique pour tous les processeurs. Vous trouverez la métrique agrégée dans l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name.
Toutes les 30 secondes, l'agent collecte la cpu_idle métrique pour tous les processeurs. Vous trouverez la métrique agrégée dans l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name. L'agent collecte également les métriques par processeur. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique car la drop_original_metrics propriété n'en contient cpu_idle pas. Il n'ignore donc pas la métrique.
Toutes les 20 secondes, l'agent collecte la mem_active métrique. Vous trouverez la métrique agrégée dans l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name.
Toutes les 20 secondes, l'agent collecte les disk_used_percent statistiques relatives aux montages de /mnt disque / et. Vous pouvez trouver les métriques agrégées dans l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name. L'agent collecte également les métriques par montage. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique car la drop_original_metrics propriété n'en contient disk_used_percent pas. Il n'ignore donc pas la métrique.

Exemples de configurations de métriques d'application

L'exemple suivant configure l' CloudWatch agent pour qu'il arrête d'exporter des métriques pour le service Hadoop Namenode.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

L'exemple suivant configure un cluster pour exporter les métriques de l'application Hadoop.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

L'exemple précédent possède les propriétés suivantes :

Toutes les 20 secondes, l'agent collecte les CapacityUsedGB métriques BlockCapacity et à partir des instances qui exécutent le service Hadoop Namenode.
Toutes les 30 secondes, l'agent collecte des MemNonHeapUsedM métriques auprès des instances qui exécutent le service Hadoop Datanode.
Toutes les 30 secondes, l'agent collecte les NodeUpdateNumOps métriques AllocateNumOps et à partir des instances qui exécutent le Hadoop YARN. ResourceManager

Exemple d'Amazon Managed Service pour Prometheus

L'exemple suivant montre comment configurer l' CloudWatch agent pour exporter des métriques vers Amazon Managed Service for Prometheus.

Si vous exportez actuellement des métriques vers Amazon Managed Service pour Prometheus et que vous souhaitez reconfigurer les métriques pour le cluster et continuer à exporter des métriques vers Amazon Managed Service pour Prometheus, vous devez inclure les propriétés et. metrics_destination prometheus_endpoint


[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Pour utiliser l' CloudWatch agent vers lequel exporter des métriques CloudWatch, utilisez l'exemple suivant.


[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]

Note

L' CloudWatch agent possède un exportateur Prometheus qui renomme certains attributs. Pour les libellés de métriques par défaut, Amazon Managed Service pour Prometheus utilise des caractères de soulignement à la place des points utilisés par Amazon. CloudWatch Si vous utilisez Amazon Managed Grafana pour visualiser les mesures par défaut dans Amazon Managed Service for Prometheus, les libellés apparaissent sous la forme cluster_idinstance_id, node_type et. service_name

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Configuration

Amazon EMR 7.0.0