Configurer un VPC pour héberger des EMR clusters Amazon

Pour créer un VPC avec des sous-réseaux pour un cluster Amazon EMR

1. Ouvrez la VPC console Amazon à l'adresse https://console.aws.amazon.com/vpc/.

2. En haut à droite de la page, choisissez le Région AWSpour votreVPC.

3. Sélectionnez CreateVPC (Créer).

4. Sur la page VPCdes paramètres, choisissez VPCet plus encore.

5. Sous Génération automatique des étiquettes nominatives, activez Générer automatiquement et entrez un nom pour votre. VPC Cela vous permet d'identifier le sous-réseau VPC et dans la VPC console Amazon une fois que vous les avez créés.

6. Dans le champ de IPv4CIDRblocage, entrez un espace d'adresse IP privé VPC pour garantir une résolution correcte DNS du nom d'hôte ; sinon, vous risquez de rencontrer des défaillances EMR du cluster Amazon. Les plages d'adresses IP suivantes sont incluses :

   • 10.0.0.0 - 10.255.255.255

   • 172.16.0.0 - 172.31.255.255

   • 192.168.0.0 - 192.168.255.255

7. Sous Nombre de zones de disponibilité (AZs), choisissez le nombre de zones de disponibilité dans lesquelles vous souhaitez lancer vos sous-réseaux.

8. Sous Nombre de sous-réseaux publics, choisissez un seul sous-réseau public à ajouter à votre. VPC Si les données utilisées par le cluster sont disponibles sur Internet (par exemple, dans Amazon S3 ou AmazonRDS), vous devez uniquement utiliser un sous-réseau public et vous n'avez pas besoin d'ajouter de sous-réseau privé.

9. Sous Nombre de sous-réseaux privés, choisissez le nombre de sous-réseaux privés que vous souhaitez ajouter à votre. VPC Sélectionnez-en une ou plusieurs si les données de votre application sont stockées sur votre propre réseau (par exemple, dans une base de données Oracle). VPCDans le cas d'un sous-réseau privé, toutes les EC2 instances Amazon doivent au minimum disposer d'un itinéraire vers Amazon EMR via l'interface elastic network. Dans la console, ce paramètre est configuré automatiquement.

10. Sous NATpasserelles, choisissez éventuellement d'ajouter des NAT passerelles. Ils ne sont nécessaires que si vous avez des sous-réseaux privés qui doivent communiquer avec Internet.

11. Sous VPCpoints de terminaison, choisissez éventuellement d'ajouter des points de terminaison pour Amazon S3 à vos sous-réseaux.

12. Vérifiez que les cases Activer les DNS noms d'hôtes et Activer DNS la résolution sont cochées. Pour plus d'informations, consultez la section Utilisation DNS avec votre VPC.

13. Sélectionnez CreateVPC (Créer).

14. Une fenêtre d'état indique la progression de ces tâches. Lorsque le travail est terminé, choisissez Afficher VPC pour accéder à la VPCs page Votre, qui affiche votre page par défaut VPC et celle VPC que vous venez de créer. La valeur VPC que vous avez créée n'est pas une valeur par défautVPC, c'est pourquoi la VPC colonne Par défaut affiche Non.

15. Si vous souhaitez VPC associer votre entrée à une DNS entrée qui n'inclut pas de nom de domaine, accédez aux ensembles d'DHCPoptions, choisissez Créer un ensemble DHCP d'options et omettez un nom de domaine. Après avoir créé votre ensemble d'options, accédez à votre nouveau jeu d'optionsVPC, choisissez Modifier le jeu d'DHCPoptions dans le menu Actions, puis sélectionnez le nouveau jeu d'options. Vous ne pouvez pas modifier le nom de domaine à l'aide de la console une fois le jeu d'DNSoptions créé.

    Il est recommandé d'utiliser Hadoop et les applications associées pour garantir la résolution du nom de domaine complet (FQDN) pour les nœuds. Pour garantir une DNS résolution correcte, configurez un VPC qui inclut un jeu d'DHCPoptions dont les paramètres sont définis sur les valeurs suivantes :

    • nom-domaine = ec2.internal

      Utilisez ec2.internal si votre région est USA Est (Virginie du Nord). Pour les autres régions, utilisez region-name.compute.internal. Par exemple, dans us-west-2, utilisez us-west-2.compute.internal. Pour la région AWS GovCloud (ouest des États-Unis), utilisezus-gov-west-1.compute.internal.

    • domain-name-servers = AmazonProvidedDNS

    Pour plus d'informations, consultez les ensembles DHCP d'options dans le guide de VPC l'utilisateur Amazon.

16. Une fois VPC le créé, rendez-vous sur la page Sous-réseaux et notez l'ID de sous-réseau de l'un des sous-réseaux de votre nouveau. VPC Vous utilisez ces informations lorsque vous lancez le EMR cluster Amazon dans leVPC.