Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration du matériel et du réseau du EMR cluster Amazon
Lorsque vous créez un EMR cluster Amazon, il est important de prendre en compte la manière dont vous configurez EC2 les instances Amazon et les options réseau. Ce chapitre couvre les options suivantes, puis les relie toutes avec des bonnes pratiques et des directives.
-
Types de nœuds : EC2 les instances Amazon d'un EMR cluster sont organisées en types de nœuds. Il en existe trois : les nœuds primaires, les nœuds principaux et les nœuds de tâches. Chaque type de nœud exécute un ensemble de rôles définis par les applications distribuées que vous installez sur le cluster. Au cours d'une tâche Hadoop MapReduce ou Spark, par exemple, les composants des nœuds principaux et de tâches traitent les données, transfèrent les résultats vers Amazon S3 ou HDFS fournissent des métadonnées d'état au nœud principal. Dans le cas d'un cluster à un seul nœud, tous les composants s'exécutent sur le nœud primaire. Pour de plus amples informations, veuillez consulter Comprendre les types de nœuds sur Amazon EMR : nœuds principaux, principaux et de tâches.
-
EC2instances — Lorsque vous créez un cluster, vous faites des choix concernant les EC2 instances Amazon sur lesquelles chaque type de nœud sera exécuté. Le type d'EC2instance détermine le profil de traitement et de stockage du nœud. Le choix de l'EC2instance Amazon pour vos nœuds est important car il détermine le profil de performance des différents types de nœuds de votre cluster. Pour de plus amples informations, veuillez consulter Configurer les types d'EC2instances Amazon à utiliser avec Amazon EMR.
-
Mise en réseau — Vous pouvez lancer votre EMR cluster Amazon en VPC utilisant un sous-réseau public, un sous-réseau privé ou un sous-réseau partagé. Votre configuration réseau détermine la manière dont les clients et les services peuvent se connecter aux clusters pour effectuer des tâches, la manière dont les clusters se connectent aux magasins de données et aux autres ressources AWS , ainsi que les options dont vous disposez pour contrôler le trafic sur ces connexions. Pour de plus amples informations, veuillez consulter Configurer le réseau dans un VPC pour Amazon EMR.
-
Regroupement d'instances : l'ensemble d'EC2instances hébergeant chaque type de nœud est appelé parc d'instances ou groupe d'instances uniforme. La configuration du groupement d'instances est un choix que vous faites lorsque vous créez un cluster. Ce choix détermine la manière dont vous pouvez ajouter des nœuds à votre cluster pendant son exécution. La configuration s'applique à tous les types de nœuds. Il ne peut pas être modifié ultérieurement. Pour de plus amples informations, veuillez consulter Créez un EMR cluster Amazon avec des flottes d'instances ou des groupes d'instances uniformes.
Note
La configuration des flottes d'instances n'est disponible que dans les EMR versions 4.8.0 et ultérieures d'Amazon, à l'exception des versions 5.0.0 et 5.0.3.
