Lancez des clusters dans un VPC environnement avec Amazon EMR - Amazon EMR
Garantir la disponibilité des adresses IP pour un EMR cluster sur EC2

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Lancez des clusters dans un VPC environnement avec Amazon EMR

Une fois que vous avez configuré un sous-réseau pour héberger des EMR clusters Amazon, lancez-le dans ce sous-réseau en spécifiant l'identifiant de sous-réseau associé lors de la création du cluster.

Note

Amazon EMR prend en charge les sous-réseaux privés dans les versions 4.2 et supérieures.

Lorsque le cluster est lancé, Amazon EMR ajoute des groupes de sécurité selon que le cluster est lancé dans des sous-réseaux VPC privés ou publics. Tous les groupes de sécurité autorisent l'entrée sur le port 8443 pour communiquer avec le EMR service Amazon, mais les plages d'adresses IP varient pour les sous-réseaux publics et privés. Amazon EMR gère tous ces groupes de sécurité et devra peut-être ajouter des adresses IP supplémentaires à la AWS gamme au fil du temps. Pour de plus amples informations, veuillez consulter Contrôlez le trafic réseau avec des groupes de sécurité pour votre EMR cluster Amazon.

Pour gérer le cluster sur unVPC, Amazon EMR attache un périphérique réseau au nœud principal et le gère via cet appareil. Vous pouvez visualiser cet appareil à l'aide de l'EC2APIaction Amazon DescribeInstances. Si vous modifiez ce dispositif, le cluster peut échouer.

Console
Pour lancer un cluster dans un VPC avec la console

  1. Connectez-vous au et ouvrez AWS Management Console la EMR console Amazon à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMREC2Activé dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

  3. Sous Mise en réseau, accédez au champ Virtual private cloud (VPC). Entrez le nom de votre VPC ou choisissez Parcourir pour sélectionner votreVPC. Vous pouvez également choisir Create VPC pour créer un VPC fichier que vous pouvez utiliser pour votre cluster.

  4. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  5. Pour lancer cluster, choisissez Créer un cluster.

AWS CLI
Pour lancer un cluster dans VPC un AWS CLI
Note

Il AWS CLI ne permet pas de créer automatiquement une NAT instance et de la connecter à votre sous-réseau privé. Toutefois, pour créer un point de terminaison S3 dans votre sous-réseau, vous pouvez utiliser les VPC CLI commandes Amazon. Utilisez la console pour créer des NAT instances et lancer des clusters dans un sous-réseau privé.

Une fois votre configuration VPC terminée, vous pouvez y lancer EMR des clusters Amazon en utilisant la create-cluster sous-commande avec le --ec2-attributes paramètre. Utilisez le --ec2-attributes paramètre pour spécifier le VPC sous-réseau de votre cluster.

  • Pour créer un cluster dans un sous-réseau spécifique, tapez la commande suivante, remplacez myKey avec le nom de votre paire de EC2 clés Amazon, et remplacez 77XXXX03 avec votre identifiant de sous-réseau.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Lorsque vous spécifiez le nombre d'instances sans utiliser le paramètre --instance-groups, un seul nœud primaire est lancé et les instances restantes sont lancées en tant que nœuds principaux. Tous les nœuds utilisent le type d'instance spécifié dans la commande.

    Note

    Si vous n'avez pas encore créé le rôle de EMR service Amazon et le profil d'EC2instance par défaut, tapez aws emr create-default-roles pour les créer avant de taper la create-cluster sous-commande.

Garantir la disponibilité des adresses IP pour un EMR cluster sur EC2

Pour garantir qu'un sous-réseau avec suffisamment d'adresses IP libres est disponible lors du lancement, la sélection du EC2 sous-réseau vérifie la disponibilité des adresses IP. Le processus de création utilise un sous-réseau avec le nombre d'adresses IP nécessaire pour lancer les nœuds principaux, principaux et de tâches selon les besoins, même si lors de la création initiale, seuls les nœuds principaux du cluster sont créés. EMRvérifie le nombre d'adresses IP requises pour lancer les nœuds principaux et les nœuds de tâche lors de la création, et calcule séparément le nombre d'adresses IP nécessaires pour lancer les nœuds principaux. Le nombre minimum d'instances principales et de tâches ou de nœuds requis est déterminé automatiquement par AmazonEMR.

Important

Si aucun sous-réseau n'est disponible en quantité suffisante IPs pour accueillir les nœuds essentiels, une erreur est renvoyée et le cluster n'est pas créé. VPC

Dans la plupart des cas de déploiement, il existe un décalage horaire entre chaque lancement des nœuds principaux, principaux et de tâches. En outre, il est possible que plusieurs clusters partagent un sous-réseau. Dans ces cas, la disponibilité des adresses IP peut fluctuer et les lancements ultérieurs de nœuds de tâches, par exemple, peuvent être limités par les adresses IP disponibles.