Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Comprendre les mesures de dimensionnement gérées dans Amazon EMR
Amazon EMR publie des métriques haute résolution avec des données d'une granularité d'une minute lorsque le dimensionnement géré est activé pour un cluster. Vous pouvez consulter les événements relatifs au lancement et à la fin de chaque redimensionnement grâce à un dimensionnement géré avec la EMR console Amazon ou la CloudWatch console Amazon. CloudWatch les métriques sont essentielles au bon fonctionnement du scalage EMR géré par Amazon. Nous vous recommandons de suivre de près CloudWatch les indicateurs pour vous assurer que les données ne sont pas manquantes. Pour plus d'informations sur la façon dont vous pouvez configurer les CloudWatch alarmes afin de détecter les métriques manquantes, consultez Utiliser les CloudWatch alarmes Amazon. Pour plus d'informations sur l'utilisation CloudWatch des événements avec AmazonEMR, consultez Surveiller CloudWatch les événements.
Les métriques suivantes indiquent les capacités actuelles ou cibles d'un cluster. Ces métriques sont disponibles uniquement lorsque le dimensionnement géré est activé. Pour les clusters composés de parcs d'instances, les métriques de capacité de cluster sont mesurées en Units. Pour les clusters composés de groupes d'instances, les métriques de capacité de cluster sont mesurées en Nodes ou en vCPU selon le type d'unité utilisé dans la politique de dimensionnement géré.
| Métrique | Description |
|---|---|
|
Le nombre total cible de personnes units/nodes/vCPUs dans un cluster, tel que déterminé par le dimensionnement géré. Unités : nombre |
|
Le nombre total actuel de produits units/nodes/vCPUs disponibles dans un cluster en cours d'exécution. Lorsqu'un redimensionnement de cluster est demandé, cette métrique est mise à jour après l'ajout ou la suppression des nouvelles instances du cluster. Unités : nombre |
|
Le nombre cible de CORE units/nodes/vCPUs dans un cluster, tel que déterminé par le dimensionnement géré. Unités : nombre |
|
Le nombre actuel d'COREunits/nodes/vCPUsexécutions dans un cluster. Unités : nombre |
|
Le nombre cible de TASK units/nodes/vCPUs dans un cluster, tel que déterminé par le dimensionnement géré. Unités : nombre |
|
Le nombre actuel d'TASKunits/nodes/vCPUsexécutions dans un cluster. Unités : nombre |
Les métriques suivantes indiquent l'état d'utilisation du cluster et des applications. Ces statistiques sont disponibles pour toutes les EMR fonctionnalités d'Amazon, mais elles sont publiées à une résolution supérieure avec des données d'une granularité d'une minute lorsque le dimensionnement géré est activé pour un cluster. Vous pouvez mettre en corrélation les métriques suivantes avec les métriques de capacité de cluster du tableau précédent pour comprendre les décisions de dimensionnement géré.
| Métrique | Description |
|---|---|
|
|
Le nombre de demandes soumises à YARN ce formulaire sont terminées. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
|
|
Le nombre de demandes YARN qui y sont soumises sont en attente. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
|
|
Le nombre de candidatures soumises dans YARN ce cadre sont en cours d'exécution. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
ContainerAllocated |
Le nombre de conteneurs de ressources alloués par leResourceManager. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
|
|
Nombre de conteneurs dans la file d'attente qui n'ont pas encore été alloués. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
ContainerPendingRatio |
Le rapport entre les conteneurs en attente et les conteneurs alloués (ContainerPendingRatio = ContainerPending / ContainerAllocated). Si ContainerAllocated = 0, alors ContainerPendingRatio =ContainerPending. La valeur de ContainerPendingRatio représente un nombre et non un pourcentage. Cette valeur est utile pour dimensionner les ressources de cluster en fonction du comportement d'attribution des conteneurs. Unités : nombre |
|
|
Pourcentage de HDFS stockage actuellement utilisé. Cas d'utilisation : analyser les performances du cluster Unités : pourcentage |
|
|
Indique qu'un cluster ne s'exécute plus, mais est encore en actif et génère des frais. Il est défini sur 1 si aucune tâche ni aucun travail n'est en cours d'exécution, et défini sur 0 dans le cas contraire. Cette valeur est vérifiée à intervalles de cinq minutes et une valeur de 1 indique uniquement que le cluster a été inactif lors de la vérification, et non pas qu'il a été inactif pendant les cinq minutes entières. Pour éviter les fausses erreurs, vous devez déclencher une alarme lorsque cette valeur est 1 pendant plusieurs contrôles consécutifs de 5 minutes. Par exemple, vous pouvez déclencher une alarme pour cette valeur si elle renvoie 1 pendant au moins 30 minutes. Cas d'utilisation : surveiller les performances du cluster Unités : booléennes |
|
|
Quantité de mémoire disponible à allouer. Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
|
|
Le nombre de nœuds exécutant actuellement MapReduce des tâches ou des tâches. Équivalent au YARN système métrique Cas d'utilisation : surveiller la progression du cluster Unités : nombre |
|
|
Pourcentage de mémoire restante disponible jusqu'à YARN (YARNMemoryAvailablePercentage= MemoryAvailable MemoryTotal Mo/Mo). Cette valeur est utile pour dimensionner les ressources du cluster en fonction de l'utilisation YARN de la mémoire. Unités : pourcentage |
Les métriques suivantes fournissent des informations sur les ressources utilisées par les YARN conteneurs et les nœuds. Ces mesures du gestionnaire de YARN ressources fournissent des informations sur les ressources utilisées par les conteneurs et les nœuds exécutés dans le cluster. La comparaison de ces indicateurs avec les indicateurs de capacité du cluster du tableau précédent fournit une image plus claire de l'impact de la gestion du dimensionnement :
| Métrique | Versions associées | Description |
|---|---|---|
|
|
Disponible pour le label de sortie 7.3.0 et versions ultérieures |
Mémoire du conteneur consommée* secondes pendant la période de publication. Unités : Go* secondes |
|
|
Disponible pour le label de sortie 7.3.0 et versions ultérieures |
Le volume total de laine contenant* secondes pour la période de publication. Unités : Go* secondes |
|
|
Disponible pour le label de sortie 7.5.0 et versions ultérieures |
Le contenant VCPU consommé* secondes pendant la période de publication. Unités : VCPU * secondes |
|
Disponible pour le label de sortie 7.5.0 et versions ultérieures |
Le VCPU conteneur* secondes totales pour la période de publication. Unités : VCPU * secondes |
|
|
Disponible pour le label de sortie 7.5.0 et versions ultérieures |
La mémoire du nœud consommée* secondes pendant la période de publication. Unités : Go* secondes |
|
Disponible pour le label de sortie 7.5.0 et versions ultérieures |
Mémoire totale du nœud * secondes pour la période de publication. Unités : Go* secondes |
|
|
Disponible pour le label de sortie 7.3.0 et versions ultérieures |
Le nœud VCPU consommé* secondes pendant la période de publication. Unités : VCPU * secondes |
|
|
Disponible pour le label de sortie 7.3.0 et versions ultérieures |
Nombre total de nœuds VCPU (* secondes) pour la période de publication. Unités : VCPU * secondes |
Représentation graphique des métriques de mise à l'échelle gérée
Vous pouvez représenter graphiquement les indicateurs pour visualiser les modèles de charge de travail de votre cluster et les décisions de dimensionnement correspondantes prises par Amazon EMR Managed Scaling, comme le montrent les étapes suivantes.
Pour représenter graphiquement les métriques de dimensionnement gérées dans la CloudWatch console
-
Ouvrez la CloudWatch console
. -
Dans le volet de navigation, choisissez Amazon EMR. Vous pouvez rechercher par l'identifiant de cluster du cluster à surveiller.
-
Faites défiler jusqu'à la métrique que vous souhaitez représenter graphiquement. Ouvrez une métrique pour afficher le graphique.
-
Pour représenter graphiquement une ou plusieurs métriques, cochez la case en regard de chaque métrique.
L'exemple suivant illustre l'activité de dimensionnement d'un cluster EMR gérée par Amazon. Le graphique présente trois périodes de dimensionnement (diminution) automatique, qui permettent de réaliser des économies lorsque la charge de travail est moins active.
Toutes les métriques de capacité et d'utilisation du cluster sont publiées à intervalles d'une minute. Des informations statistiques supplémentaires sont également rattachées à chaque donnée d'une minute, ce qui vous permet de tracer diverses fonctions telles que Percentiles, Min, Max, Sum, Average, SampleCount.
Par exemple, le graphique suivant trace la même métrique YARNMemoryAvailablePercentage à différents percentiles, P10, P50, P90, P99, ainsi que Sum, Average, Min, SampleCount.
