Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Options Amazon VPC lorsque vous lancez un cluster
Lorsque vous lancez un cluster Amazon EMR au sein d'un VPC, vous pouvez le lancer dans un sous-réseau public, privé ou partagé. Les différences de configuration sont légères mais importantes, en fonction du type de sous-réseau que vous choisissez pour un cluster.
Sous-réseaux publics
Les clusters EMR dans un sous-réseau public nécessitent une passerelle Internet connectée Cela est dû au fait que les clusters Amazon EMR doivent accéder aux AWS services et à Amazon EMR. Si un service, tel qu'Amazon S3, offre la possibilité de créer un point de terminaison d'un VPC, vous pouvez accéder à ces services à l'aide du point de terminaison au lieu d'accéder à un point de terminaison public via une passerelle Internet. En outre, Amazon EMR ne peut pas communiquer avec des clusters dans des sous-réseaux publics via un périphérique de traduction d'adresses réseau (NAT). C'est pour cette raison qu'une passerelle Internet est obligatoire, mais vous pouvez toujours utiliser une instance NAT ou une passerelle pour le reste du trafic dans les scénarios plus complexes.
Toutes les instances d'un cluster se connectent à Amazon S3 via un point de terminaison d'un VPC ou une passerelle Internet. AWS Les autres services qui ne prennent pas actuellement en charge les points de terminaison VPC utilisent uniquement une passerelle Internet.
Si vous ne souhaitez pas connecter AWS des ressources supplémentaires à la passerelle Internet, vous pouvez lancer ces composants dans un sous-réseau privé que vous créez au sein de votre VPC.
Les clusters exécutant un sous-réseau public utilisent deux groupes de sécurité : un groupe pour le nœud primaire et un autre pour les nœuds de noyau et de tâche. Pour de plus amples informations, veuillez consulter Contrôlez le trafic réseau avec des groupes de sécurité pour votre cluster Amazon EMR.
Le schéma suivant montre l'exécution d'un cluster Amazon EMR dans un VPC à l'aide d'un sous-réseau public. Le cluster peut se connecter à d'autres AWS ressources, telles que les compartiments Amazon S3, via la passerelle Internet.
Le schéma suivant montre comment configurer un VPC afin qu'un cluster présent dans le VPC puisse accéder aux ressources de votre propre réseau, par exemple une base de données Oracle.
Sous-réseaux privés
Un sous-réseau privé vous permet de lancer AWS des ressources sans avoir besoin d'une passerelle Internet attachée au sous-réseau. Amazon EMR prend en charge le lancement de clusters dans des sous-réseaux privés avec les versions 4.2.0 ou ultérieures.
Note
Lorsque vous configurez un cluster Amazon EMR dans un sous-réseau privé, nous vous recommandons de configurer également des points de terminaison VPC pour Amazon S3. Si votre cluster EMR se trouve dans un sous-réseau privé sans points de terminaison VPC pour Amazon S3, vous devrez payer des frais de passerelle NAT supplémentaires associés au trafic S3, car le trafic entre votre cluster EMR et S3 ne restera pas dans votre VPC.
La différence entre les sous-réseaux privés diffère des sous-réseaux publics pour les raisons suivantes :
-
Pour accéder aux AWS services qui ne fournissent pas de point de terminaison VPC, vous devez toujours utiliser une instance NAT ou une passerelle Internet.
-
Au minimum, vous devez indiquer un chemin vers le compartiment des journaux du service Amazon EMR et vers le répertoire Amazon Linux dans Amazon S3. Pour plus d’informations, consultez Exemples de politiques pour les sous-réseaux privés qui accèdent à Amazon S3.
-
Si vous utilisez les fonctionnalités EMRFS, vous devez disposer d'un point de terminaison d'un VPC Amazon S3 et d'un acheminement de votre sous-réseau privé vers DynamoDB.
-
Le débogage fonctionne uniquement si vous fournissez une route de votre sous-réseau privé vers un point de terminaison Amazon SQS public.
-
La création d'une configuration de sous-réseau privé avec une passerelle ou une instance NAT dans un sous-réseau public est uniquement prise en charge à l'aide d' AWS Management Console. Le moyen le plus simple d'ajouter et de configurer des instances NAT et des points terminaison d'un VPC Amazon S3 pour les clusters Amazon EMR est d'utiliser la page Liste des sous-réseaux VPC dans la console Amazon EMR. Pour configurer les passerelles NAT, consultez la section Passerelles NAT dans le Guide de l'utilisateur Amazon VPC.
-
Vous ne pouvez pas modifier un sous-réseau avec un cluster Amazon EMR existant de public à privé ou inversement. Pour placer un cluster Amazon EMR au sein d'un sous-réseau privé, le cluster doit être démarré dans ce sous-réseau privé.
Amazon EMR crée et utilise différents groupes de sécurité par défaut pour les clusters d'un sous-réseau privé : ElasticMapReduce -Slave-Private ElasticMapReduce-Master-Private et -. ElasticMapReduce ServiceAccess Pour de plus amples informations, veuillez consulter Contrôlez le trafic réseau avec des groupes de sécurité pour votre cluster Amazon EMR.
Pour obtenir la liste complète NACLs de votre cluster, sélectionnez Groupes de sécurité pour le cluster principal et Groupes de sécurité pour Core & Task sur la page des détails du cluster de la console Amazon EMR.
L'image suivante montre comment un cluster Amazon EMR est configuré dans un sous-réseau privé. La seule communication en dehors du sous-réseau est la communication vers Amazon EMR.
L'image suivante représente un exemple de configuration pour un cluster Amazon EMR au sein d'un sous-réseau privé connecté à une instance NAT située dans un sous-réseau public.
Sous-réseaux partagés
Le partage VPC permet aux clients de partager des sous-réseaux avec d'autres AWS comptes au sein de la même organisation. AWS Vous pouvez lancer des clusters Amazon EMR dans des sous-réseaux publics et privés partagés, avec les restrictions suivantes.
Le propriétaire du sous-réseau doit partager un sous-réseau avec vous pour que vous puissiez lancer un cluster Amazon EMR dans celui-ci. Cependant, des sous-réseaux partagés peuvent devenir non partagés ultérieurement. Pour plus d'informations, consultez la section Utilisation du partage VPCs. Lorsqu'un cluster est lancé dans un sous-réseau partagé qui devient ensuite non partagé, vous pouvez observer des comportements spécifiques en fonction de l'état du cluster Amazon EMR lorsque le sous-réseau devient non partagé.
-
Le sous-réseau devient non partagé avant que le cluster soit lancé - Si le propriétaire cesse de partager l'Amazon VPC ou le sous-réseau alors que le participant lance un cluster, il se peut que le cluster ne puisse pas démarrer ou soit partiellement initialisé sans mettre en service toutes les instances demandées.
-
Le sous-réseau devient non partagéaprès que le cluster est lancé - Lorsque le propriétaire cesse de partager un sous-réseau ou un Amazon VPC avec le participant, les clusters du participant ne peuvent pas être redimensionnés pour ajouter de nouvelles instances ou remplacer des instances défectueuses.
Lorsque vous lancez un cluster Amazon EMR, plusieurs groupes de sécurité sont créés. Dans un sous-réseau partagé, le participant au sous-réseau contrôle ces groupes de sécurité. Le propriétaire du sous-réseau peut voir ces groupes de sécurité, mais ne peut pas exécuter d'actions sur ceux-ci. Si le propriétaire du sous-réseau souhaite supprimer ou modifier le groupe de sécurité, le participant qui a créé le groupe de sécurité doit effectuer l'action.
Contrôlez les autorisations VPC avec IAM
Par défaut, tous les utilisateurs peuvent consulter l'ensemble des sous-réseaux du compte, et n'importe quel utilisateur peut lancer un cluster dans n'importe quel sous-réseau.
Lorsque vous lancez un cluster dans un VPC, vous pouvez utiliser AWS Identity and Access Management (IAM) pour contrôler l'accès aux clusters et restreindre les actions à l'aide de politiques, comme vous le feriez avec les clusters lancés dans Amazon Classic. EC2 Pour plus d'informations sur IAM, consultez le Guide de l'utilisateur IAM.
Vous pouvez également utiliser IAM pour contrôler les personnes autorisées à créer et gérer des sous-réseaux. Par exemple, vous pouvez créer un rôle IAM pour administrer les sous-réseaux, et un second rôle qui peut lancer des clusters mais ne peut pas modifier les paramètres Amazon VPC. Pour plus d'informations sur l'administration des politiques et des actions dans Amazon EC2 et Amazon VPC, consultez la section Politiques IAM pour Amazon dans le guide de EC2 l'utilisateur Amazon EC2 .
