Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration des types d'instances de EMR cluster Amazon et meilleures pratiques pour les instances Spot

Suivez les instructions de cette section pour vous aider à déterminer les types d'instances, les options d'achat et la quantité de stockage à allouer pour chaque type de nœud d'un EMR cluster.

Quel type d'instance dois-je utiliser ?

Il existe plusieurs méthodes pour ajouter des EC2 instances Amazon à un cluster. La méthode que vous devez choisir varie selon que vous utilisez la configuration des groupes d'instances ou la configuration des parcs d'instances pour le cluster.

Une manière de planifier les instances de votre cluster consiste à exécuter un cluster de test avec un ensemble représentatif d'échantillons de données et à surveiller l'utilisation des nœuds dans le cluster. Pour de plus amples informations, veuillez consulter Afficher et surveiller un EMR cluster Amazon pendant qu'il exécute des tâches. Une autre méthode consiste à calculer la capacité des instances que vous envisagez et à comparer cette valeur à la taille de vos données.

En général, le type de nœud principal, qui assigne les tâches, ne nécessite pas d'EC2instance dotée d'une grande puissance de traitement ; les EC2 instances Amazon pour le type de nœud principal, qui traitent les tâches et stockent les donnéesHDFS, ont besoin à la fois de puissance de traitement et de capacité de stockage ; les EC2 instances Amazon pour le type de nœud de tâche, qui ne stockent pas de données, ont uniquement besoin de puissance de traitement. Pour obtenir des directives concernant EC2 les instances Amazon disponibles et leur configuration, consultezConfigurer les types d'EC2instances Amazon à utiliser avec Amazon EMR.

Les directives suivantes s'appliquent à la plupart des EMR clusters Amazon.

Quand faut-il utiliser des instances Spot ?

Lorsque vous lancez un cluster sur AmazonEMR, vous pouvez choisir de lancer des instances principales, principales ou de tâches sur des instances ponctuelles. Comme chaque type de groupe d'instances joue un rôle différent dans le cluster, il existe des implications du lancement de chaque type de nœud sur des instances Spot. Vous ne pouvez pas modifier l'option d'achat d'une instance lorsque le cluster est en cours d'exécution. Pour modifier un groupe d'instances à la demande en instances Spot ou inversement, vous devez suspendre le cluster et en lancer un nouveau pour les nœuds principaux et de noyau. Pour les nœuds de tâches, vous pouvez lancer un nouveau groupe d'instances de tâche ou un parc d'instances et supprimer l'ancien.

EMRParamètres Amazon pour éviter l'échec des tâches en raison de la fermeture de l'instance Spot du nœud de tâches

Les instances Spot étant souvent utilisées pour exécuter des nœuds de tâches, Amazon EMR dispose d'une fonctionnalité par défaut pour planifier les YARN tâches afin que l'exécution des tâches n'échoue pas lorsque les nœuds de tâches exécutés sur des instances Spot sont fermés. Pour ce faire, Amazon EMR autorise les processus principaux de l'application à s'exécuter uniquement sur les nœuds principaux. Le processus principal de l'application contrôle les tâches en cours d'exécution et doit rester actif pendant toute la durée de vie de la tâche.

Les EMR versions 5.19.0 et ultérieures d'Amazon utilisent la fonctionnalité intégrée d'étiquettes de YARN nœuds pour y parvenir. (Les versions antérieures utilisaient un correctif de code). Les propriétés des classifications de capacity-scheduler configuration yarn-site et de configuration sont configurées par défaut afin que le planificateur de YARN capacité et le planificateur équitable tirent parti des étiquettes des nœuds. Amazon étiquette EMR automatiquement les nœuds principaux avec cette CORE étiquette et définit les propriétés de telle sorte que les maîtres d'applications soient planifiés uniquement sur les nœuds dotés de cette CORE étiquette. La modification manuelle des propriétés associées dans les classifications de configuration Yarn-Site et Capacity Scheduler, ou directement dans XML les fichiers associés, pourrait interrompre cette fonctionnalité ou la modifier.

Amazon EMR configure les propriétés et valeurs suivantes par défaut. Faites attention lorsque vous configurez ces propriétés.

Nœud primaire sur une instance Spot

Le nœud primaire contrôle et dirige le cluster. Lorsque le cluster est arrêté, il prend fin, si bien que vous devez lancer uniquement le nœud primaire en tant qu'instance Spot si vous exécutez un cluster où un arrêt soudain est acceptable. Ce peut être le cas, si vous testez une nouvelle application, si vous avez un cluster qui conserve périodiquement des données dans un magasin externe tel qu'Amazon S3, ou si vous exécutez un cluster où le coût est plus important que l'exécution du cluster jusqu'à la fin.

Lorsque vous lancez le groupe d'instances maître en tant qu'instance Spot, le cluster ne démarre pas tant que cette demande d'instance Spot n'est pas satisfaite. Ceci doit être pris en compte lorsque vous sélectionnez votre prix Spot maximum.

Vous pouvez uniquement ajouter un nœud primaire d'instances Spot lorsque vous lancez le cluster. Vous ne pouvez pas ajouter ou supprimer des nœuds primaires d'un cluster en cours d'exécution.

En général, il suffirait d'exécuter le nœud primaire en tant qu'instance Spot si vous exécutez l'ensemble du cluster (tous les groupes d'instances) sous forme d'instances Spot.

Nœuds de noyau sur les instances Spot

Les nœuds principaux traitent les données et stockent les informations à l'aide deHDFS. La résiliation d'une instance de noyau risque la perte de données. Pour cette raison, vous ne devez exécuter des nœuds principaux sur des instances Spot que lorsqu'une perte de HDFS données partielle est tolérable.

Lorsque vous lancez le groupe d'instances principal en tant qu'instances ponctuelles, Amazon EMR attend de pouvoir fournir toutes les instances principales demandées avant de lancer le groupe d'instances. En d'autres termes, si vous demandez six EC2 instances Amazon et que seules cinq sont disponibles au prix spot maximum ou en dessous, le groupe d'instances ne sera pas lancé. Amazon EMR continue d'attendre que les six EC2 instances Amazon soient disponibles ou que vous mettiez fin au cluster. Vous pouvez modifier le nombre d'instances Spot dans un groupe d'instances de noyau pour ajouter de la capacité à un cluster en cours d'exécution. Pour plus d'informations sur la façon de travailler avec des groupes d'instances et comment les instances Spot fonctionnent avec des parcs d'instances, consultez : Créez un EMR cluster Amazon avec des flottes d'instances ou des groupes d'instances uniformes.

Nœuds de tâche sur les instances Spot

Les nœuds de tâches traitent les données mais ne contiennent pas de données persistantesHDFS. S'ils sont suspendus car le prix Spot a augmenté et dépasse votre prix Spot maximum, aucune donnée n'est perdue et l'effet sur votre cluster est minimal.

Lorsque vous lancez un ou plusieurs groupes d'instances de tâches en tant qu'instances ponctuelles, EMR Amazon met en service autant de nœuds de tâches que possible, en utilisant votre prix spot maximum. Cela signifie que si vous demandez un groupe d'instances de tâches avec six nœuds et que seules cinq instances ponctuelles sont disponibles au prix spot maximum ou en dessous, Amazon EMR lance le groupe d'instances avec cinq nœuds, en ajoutant le sixième ultérieurement si possible.

Le lancement des groupes d'instances de tâches sous forme d'instances Spot est un moyen stratégique d'étendre la capacité de votre cluster tout en réduisant au maximum les coûts. Si vous lancez vos groupes d'instances maîtres et principaux en tant qu'instances à la demande, leur capacité est garantie pour l'exécution du cluster. Vous pouvez ajouter des instances de tâches à vos groupes d'instances de tâches en fonction des besoins, afin de gérer les pics de trafic ou d'accélérer le traitement de données.

Vous pouvez ajouter ou supprimer des nœuds de tâches à l'aide de la console AWS CLI, ouAPI. Vous pouvez également ajouter des groupes de tâches supplémentaires, mais vous ne pouvez pas supprimer un groupe de tâches après sa création.

Configurations d'instances pour les scénarios d'application

Le tableau suivant est une référence rapide pour les options et configurations de types de nœuds qui sont généralement adaptés à plusieurs scénarios d'applications. Cliquez sur le lien pour afficher des informations supplémentaires sur chaque type de scénario.

Il existe plusieurs scénarios dans lesquels les instances Spot sont utiles pour exécuter un EMR cluster Amazon.

Entrepôts des données et clusters de longue durée

Si vous gérez un EMR cluster Amazon persistant dont la capacité de calcul varie de manière prévisible, tel qu'un entrepôt de données, vous pouvez gérer les pics de demande à moindre coût grâce aux instances Spot. Vous pouvez lancer vos groupes d'instances primaires et principales sous forme d'instances à la demande pour gérer la capacité normale et lancer le groupe d'instances de tâches sous forme d'instances Spot pour gérer les exigences des pics de charge.

Charges de travail axées sur les coûts

Si vous exécutez des clusters transitoires pour lesquels une réduction des coûts est plus importante que la durée d'exécution, et qu'une perte partielle de travail est acceptable, vous pouvez exécuter l'ensemble du cluster (groupes d'instances principales, centrales et de tâches) sous forme d'instances Spot, afin de bénéficier des plus grandes économies de coûts possibles.

Charges de travail essentielles pour les données

Si vous exécutez un cluster pour lequel le coût inférieur est plus important que le délai d'exécution, mais que la perte d'un travail partiel n'est pas acceptable, lancez les groupes d'instances principales et de noyau en tant qu'instances à la demande et complétez avec un ou plusieurs groupes d'instances de tâche des instances Spot. L'exécution des groupes d'instances principaux et principaux en tant qu'instances à la demande garantit que vos données sont conservées HDFS et que le cluster est protégé contre toute résiliation en raison des fluctuations du marché au comptant, tout en permettant de réaliser des économies grâce à l'exécution des groupes d'instances de tâches en tant qu'instances ponctuelles.

Tests d'application

Lorsque vous testez une nouvelle application afin de préparer son lancement dans un environnement de production, vous pouvez exécuter l'ensemble du cluster (groupes d'instances principales, centrales et de tâches) sous forme d'instances Spot pour réduire les coûts des tests.

Calcul de la HDFS capacité requise d'un cluster

La quantité de HDFS stockage disponible pour votre cluster dépend des facteurs suivants :

Pour calculer la HDFS capacité d'un cluster, pour chaque nœud principal, ajoutez la capacité du volume de stockage de l'instance à la capacité de EBS stockage d'Amazon (le cas échéant). Multipliez le résultat par le nombre de nœuds principaux, puis divisez le total par le facteur de réplication en fonction du nombre de nœuds principaux. Par exemple, un cluster avec 10 nœuds principaux de type i2.xlarge, qui dispose de 800 Go de stockage d'instance sans aucun EBS volume Amazon attaché, dispose d'un total d'environ 2 666 Go pour HDFS (10 nœuds x 800 Go ÷ 3 facteurs de réplication).

Si la valeur HDFS de capacité calculée est inférieure à vos données, vous pouvez augmenter la quantité de HDFS stockage de la manière suivante :

La réduction du facteur de réplication doit être utilisée avec prudence car elle réduit la redondance des HDFS données et la capacité du cluster à récupérer des blocs perdus ou endommagésHDFS.