Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
VPCOptions Amazon lorsque vous lancez un cluster
Lorsque vous lancez un EMR cluster Amazon au sein d'unVPC, vous pouvez le lancer dans un sous-réseau public, privé ou partagé. Les différences de configuration sont légères mais importantes, en fonction du type de sous-réseau que vous choisissez pour un cluster.
Sous-réseaux publics
EMRles clusters d'un sous-réseau public nécessitent une passerelle Internet connectée. Cela est dû au fait que les EMR clusters Amazon doivent accéder aux AWS services et à AmazonEMR. Si un service, tel qu'Amazon S3, permet de créer un VPC point de terminaison, vous pouvez accéder à ces services en utilisant le point de terminaison au lieu d'accéder à un point de terminaison public via une passerelle Internet. En outre, Amazon EMR ne peut pas communiquer avec les clusters situés dans des sous-réseaux publics via un dispositif de traduction d'adresses réseau (NAT). Une passerelle Internet est requise à cette fin, mais vous pouvez toujours utiliser une NAT instance ou une passerelle pour d'autres types de trafic dans des scénarios plus complexes.
Toutes les instances d'un cluster se connectent à Amazon S3 via un VPC point de terminaison ou une passerelle Internet. AWS Les autres services qui ne prennent pas actuellement en charge les VPC terminaux utilisent uniquement une passerelle Internet.
Si vous avez des AWS ressources supplémentaires que vous ne souhaitez pas connecter à la passerelle Internet, vous pouvez lancer ces composants dans un sous-réseau privé que vous créez au sein de votreVPC.
Les clusters exécutant un sous-réseau public utilisent deux groupes de sécurité : un groupe pour le nœud primaire et un autre pour les nœuds de noyau et de tâche. Pour de plus amples informations, veuillez consulter Contrôlez le trafic réseau avec des groupes de sécurité pour votre EMR cluster Amazon.
Le schéma suivant montre comment un EMR cluster Amazon s'exécute dans un VPC sous-réseau public. Le cluster peut se connecter à d'autres AWS ressources, telles que les compartiments Amazon S3, via la passerelle Internet.
Le schéma suivant montre comment configurer un cluster VPC afin qu'un cluster VPC puisse accéder aux ressources de votre propre réseau, telles qu'une base de données Oracle.
Sous-réseaux privés
Un sous-réseau privé vous permet de lancer AWS des ressources sans avoir besoin d'une passerelle Internet attachée au sous-réseau. Amazon EMR prend en charge le lancement de clusters dans des sous-réseaux privés avec les versions 4.2.0 ou ultérieures.
Note
Lorsque vous configurez un EMR cluster Amazon dans un sous-réseau privé, nous vous recommandons de configurer également des VPCpoints de terminaison pour Amazon S3. Si votre EMR cluster se trouve dans un sous-réseau privé sans VPC points de terminaison pour Amazon S3, vous devrez payer des frais de NAT passerelle supplémentaires associés au trafic S3, car le trafic entre votre EMR cluster et S3 ne restera pas dans le vôtre. VPC
La différence entre les sous-réseaux privés diffère des sous-réseaux publics pour les raisons suivantes :
-
Pour accéder aux AWS services qui ne fournissent pas de point de VPC terminaison, vous devez toujours utiliser une NAT instance ou une passerelle Internet.
-
Vous devez au minimum fournir un itinéraire vers le bucket Amazon EMR Service Logs et le référentiel Amazon Linux dans Amazon S3. Pour plus d’informations, consultez Exemples de politiques pour les sous-réseaux privés qui accèdent à Amazon S3.
-
Si vous utilisez EMRFS des fonctionnalités, vous devez disposer d'un point de VPC terminaison Amazon S3 et d'un itinéraire entre votre sous-réseau privé et DynamoDB.
-
Le débogage ne fonctionne que si vous fournissez un itinéraire depuis votre sous-réseau privé vers un point de terminaison Amazon SQS public.
-
La création d'une configuration de sous-réseau privé avec une NAT instance ou une passerelle dans un sous-réseau public n'est prise en charge qu'à l'aide du. AWS Management Console Le moyen le plus simple d'ajouter et de configurer NAT des instances et des VPC points de terminaison Amazon S3 pour les EMR clusters Amazon consiste à utiliser la page Liste des VPC sous-réseaux de la console AmazonEMR. Pour configurer les NAT passerelles, consultez la section NATPasserelles dans le guide de VPCl'utilisateur Amazon.
-
Vous ne pouvez pas faire passer un sous-réseau public à un EMR cluster Amazon existant de public à privé ou vice versa. Pour localiser un EMR cluster Amazon dans un sous-réseau privé, le cluster doit être démarré dans ce sous-réseau privé.
Amazon EMR crée et utilise différents groupes de sécurité par défaut pour les clusters d'un sous-réseau privé : ElasticMapReduce-Master-Private ElasticMapReduce -Slave-Private et -. ElasticMapReduce ServiceAccess Pour de plus amples informations, veuillez consulter Contrôlez le trafic réseau avec des groupes de sécurité pour votre EMR cluster Amazon.
Pour obtenir la liste complète NACLs de votre cluster, sélectionnez Groupes de sécurité pour le cluster principal et Groupes de sécurité pour Core & Task sur la page des détails du cluster de la EMR console Amazon.
L'image suivante montre comment un EMR cluster Amazon est configuré au sein d'un sous-réseau privé. La seule communication en dehors du sous-réseau est destinée à AmazonEMR.
L'image suivante montre un exemple de configuration pour un EMR cluster Amazon au sein d'un sous-réseau privé connecté à une NAT instance résidant dans un sous-réseau public.
Sous-réseaux partagés
VPCle partage permet aux clients de partager des sous-réseaux avec d'autres AWS comptes au sein de la même AWS organisation. Vous pouvez lancer des EMR clusters Amazon dans des sous-réseaux partagés publics et privés, avec les mises en garde suivantes.
Le propriétaire du sous-réseau doit partager un sous-réseau avec vous avant que vous puissiez y lancer un EMR cluster Amazon. Cependant, des sous-réseaux partagés peuvent devenir non partagés ultérieurement. Pour plus d'informations, consultez la section Utilisation du partage VPCs. Lorsqu'un cluster est lancé dans un sous-réseau partagé et que ce sous-réseau partagé est ensuite départagé, vous pouvez observer des comportements spécifiques en fonction de l'état du EMR cluster Amazon lorsque le sous-réseau n'est pas partagé.
-
Le sous-réseau n'est pas partagé avant le lancement réussi du cluster - Si le propriétaire arrête de partager Amazon VPC ou le sous-réseau alors que le participant lance un cluster, le cluster risque de ne pas démarrer ou d'être partiellement initialisé sans provisionner toutes les instances demandées.
-
Le sous-réseau n'est plus partagé une fois le cluster lancé avec succès. Lorsque le propriétaire arrête de partager un sous-réseau ou Amazon VPC avec le participant, les clusters du participant ne pourront pas être redimensionnés pour ajouter de nouvelles instances ou remplacer des instances défectueuses.
Lorsque vous lancez un EMR cluster Amazon, plusieurs groupes de sécurité sont créés. Dans un sous-réseau partagé, le participant au sous-réseau contrôle ces groupes de sécurité. Le propriétaire du sous-réseau peut voir ces groupes de sécurité, mais ne peut pas exécuter d'actions sur ceux-ci. Si le propriétaire du sous-réseau souhaite supprimer ou modifier le groupe de sécurité, le participant qui a créé le groupe de sécurité doit effectuer l'action.
Contrôlez VPC les autorisations avec IAM
Par défaut, tous les utilisateurs peuvent consulter l'ensemble des sous-réseaux du compte, et n'importe quel utilisateur peut lancer un cluster dans n'importe quel sous-réseau.
Lorsque vous lancez un cluster dans unVPC, vous pouvez utiliser AWS Identity and Access Management (IAM) pour contrôler l'accès aux clusters et restreindre les actions à l'aide de politiques, comme vous le feriez avec les clusters lancés dans Amazon EC2 Classic. Pour plus d'informationsIAM, consultez le Guide de IAM l'utilisateur.
Vous pouvez également l'utiliser IAM pour contrôler qui peut créer et administrer des sous-réseaux. Par exemple, vous pouvez créer un IAM rôle pour administrer des sous-réseaux et un second rôle qui peut lancer des clusters mais ne peut pas modifier VPC les paramètres Amazon. Pour plus d'informations sur l'administration des politiques et des actions dans Amazon EC2 et AmazonVPC, consultez la section IAMPolitiques pour Amazon EC2 dans le guide de EC2 l'utilisateur Amazon.
