Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utiliser la mise à l'échelle des clusters
Vous pouvez ajuster le nombre d'EC2instances Amazon disponibles pour un EMR cluster Amazon automatiquement ou manuellement en réponse à des charges de travail dont les demandes varient. Pour utiliser le dimensionnement automatique, vous avez deux options. Vous pouvez activer le dimensionnement EMR géré par Amazon ou créer une politique de dimensionnement automatique personnalisée. Le tableau suivant décrit les différences entre les deux options.
| Amazon EMR a géré le dimensionnement | Dimensionnement automatique personnalisé | |
|---|---|---|
|
Stratégies et règles de dimensionnement |
Aucune politique n'est requise. Amazon EMR gère l'activité de dimensionnement automatique en évaluant en permanence les indicateurs du cluster et en prenant des décisions de dimensionnement optimisées. |
Vous devez définir et gérer les politiques et les règles de mise à l'échelle automatique, telles que les conditions spécifiques qui déclenchent les activités de mise à l'échelle, les périodes d'évaluation, les temps de stabilisation, etc. |
|
EMRVersions Amazon prises en charge |
Amazon EMR version 5.30.0 et supérieure (sauf Amazon EMR version 6.0.0) |
Amazon EMR version 4.0.0 et supérieure |
|
Composition de cluster prise en charge |
Groupes d'instances ou parcs d'instances |
Groupes d'instances uniquement |
| Configuration des limites de dimensionnement |
Les limites de dimensionnement sont configurées pour l'ensemble du cluster. |
Les limites de dimensionnement ne peuvent être configurées que pour chaque groupe d'instances. |
|
Fréquence de l'évaluation des métriques |
Toutes les 5 à 10 secondes Une évaluation plus fréquente des indicateurs permet EMR à Amazon de prendre des décisions de dimensionnement plus précises. |
Vous ne pouvez définir les périodes d'évaluation que par incréments de cinq minutes. |
|
Applications prises en charge |
Seules YARN les applications sont prises en charge, telles que Spark, Hadoop, Hive, Flink. Amazon EMR Managed Scaling ne prend pas en charge les applications qui ne sont pas basées surYARN, telles que Presto ouHBase. |
Vous pouvez choisir les applications prises en charge lors de la définition des règles de dimensionnement automatique. |
Considérations
-
Un EMR cluster Amazon comprend toujours un ou trois nœuds principaux. Après la configuration initiale du cluster, vous ne pouvez mettre à l'échelle que les nœuds principaux et les nœuds de tâches. Vous ne pouvez pas mettre à l'échelle le nombre de nœuds primaires du cluster.
-
Pour les groupes d'instances, les opérations de reconfiguration et de redimensionnement se produisent consécutivement et non simultanément. Si vous lancez une reconfiguration alors qu'un groupe d'instances est en cours de redimensionnement, la reconfiguration commence une fois que le groupe d'instances a terminé le redimensionnement en cours, et inversement si vous lancez une opération de redimensionnement alors qu'un groupe d'instance est en cours de reconfiguration.
