Créez un cluster Amazon EMR avec des flottes d'instances ou des groupes d'instances uniformes

Lorsque vous créez un cluster et spécifiez la configuration du nœud primaire, des nœuds principaux et des nœuds de tâches, vous avez deux options de configuration. Vous pouvez utiliser des parcs d'instances ou des groupes d'instances uniformes. L'option de configuration que vous choisissez s'applique à tous les nœuds pour la durée de vie du cluster, et les parcs d'instances ainsi que les groupes d'instances ne peuvent pas coexister dans un cluster. La configuration des parcs d'instances est disponible dans les versions 4.8.0 et ultérieures d'Amazon EMR, à l'exception des versions 5.0.x.

Vous pouvez utiliser la console Amazon EMR AWS CLI, ou l'API Amazon EMR pour créer des clusters avec l'une ou l'autre configuration. Lorsque vous utilisez la commande create-cluster depuis l' AWS CLI, vous utilisez les paramètres --instance-fleets pour créer le cluster à l'aide de parcs d'instances ou bien, vous utilisez les paramètres --instance-groups pour le créer à l'aide de groupes d'instances uniformes.

Ceci est vrai si vous utilisez l'API Amazon EMR. Vous utilisez la configuration InstanceGroups pour indiquer une grappe d'objets InstanceGroupConfig, ou vous utiliser la configuration InstanceFleets pour spécifier une grappe d'objets InstanceFleetConfig.

Dans la nouvelle console Amazon EMR, vous pouvez choisir d'utiliser des groupes d'instances ou des parcs d'instances lorsque vous créez un cluster, et vous avez la possibilité d'utiliser des instances Spot avec chacun d'eux. Avec l'ancienne console Amazon EMR, si vous utilisez les paramètres Options rapides par défaut lorsque vous créez votre cluster, Amazon EMR applique la configuration de groupes d'instances uniformes au cluster et utilise des instances à la demande. Pour utiliser des instances Spot avec des groupes d'instances uniformes ou pour configurer des parcs d'instances et d'autres personnalisations, choisissez Options avancées.

Flottes d'instances

La configuration des flottes d'instances offre la plus grande variété d'options de provisionnement pour les instances Amazon. EC2 Chaque type de nœud dispose d'un seule parc d'instances. L'utilisation d'un parc d'instances de tâches est facultative. Vous pouvez spécifier jusqu'à cinq types d' EC2 instances par parc, ou 30 types d' EC2 instances par parc lorsque vous créez un cluster à l'aide de l' AWS CLI API Amazon EMR et d'une stratégie d'allocation pour les instances à la demande et ponctuelles. Pour les parcs d'instances principaux et de tâches, vous affectez une capacité cible pour les instances à la demande et une autre pour les instances Spot. Amazon EMR n'importe quelle combinaison des types d'instance spécifiés pour remplir les capacités cibles, en mettant en service des instances à la demande et des instances Spot.

Pour le type de nœud primaire, Amazon EMR choisit un seul type d'instance dans votre liste d'instances, et vous spécifiez s'il est alloué en tant qu'instance à la demande ou en tant qu'instance Spot. Les parcs d'instances proposent également des options supplémentaires pour les achats d'instances Spot et à la demande. Les options d'instance Spot incluent un délai d'expiration qui spécifie une action à entreprendre si la capacité ponctuelle ne peut pas être provisionnée, et une stratégie d'allocation préférée (optimisée pour les capacités) pour le lancement de parcs d'instances Spot. Les parcs d'instances à la demande peuvent également être lancées à l'aide de l'option de stratégie d'allocation (prix le plus bas). Si vous utilisez un rôle de service qui n'est pas le rôle de service EMR par défaut, ou si vous utilisez une politique gérée EMR dans votre rôle de service, vous devez ajouter des autorisations supplémentaires au rôle de service de cluster personnalisé pour activer l'option de stratégie d'allocation. Pour de plus amples informations, veuillez consulter Rôle de service pour Amazon EMR (rôle EMR).

Pour plus d'informations sur la configuration des parcs d'instances, consultez Planification et configuration de flottes d'instances pour votre cluster Amazon EMR.

Groupes d'instances uniformes

Les groupes d'instances uniformes offrent une configuration plus simple que les parcs d'instances. Chaque cluster Amazon EMR peut inclure jusqu'à 50 groupes d'instances : un groupe d'instances principal contenant une EC2 instance Amazon, un groupe d'instances principal contenant une ou plusieurs EC2 instances et jusqu'à 48 groupes d'instances de tâches facultatifs. Chaque groupe d'instances principales et de tâches peut contenir autant d' EC2 instances Amazon que vous le souhaitez. Vous pouvez redimensionner chaque groupe d'instances en ajoutant et en supprimant EC2 des instances Amazon manuellement, ou vous pouvez configurer le dimensionnement automatique. Pour plus d'informations sur l'ajout et le retrait d'instances, consultez Utilisez le dimensionnement du cluster Amazon EMR pour vous adapter à l'évolution des charges de travail.

Pour plus d'informations sur la configuration des groupes d'instances uniformes, consultez Configurez des groupes d'instances uniformes pour votre cluster Amazon EMR.

Utilisation de parcs d'instances et de groupes d'instances