As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Opções da Amazon VPC ao iniciar um cluster
Ao executar um cluster do Amazon EMR em uma VPC, é possível executá-lo em uma sub-rede pública, privada ou compartilhada. Existem pequenas diferenças, porém significativas, na configuração, dependendo do tipo de sub-rede escolhido para um cluster.
Sub-redes públicas
Os clusters do EMR em uma sub-rede pública exigem um gateway da Internet conectado. Isso ocorre porque os clusters do Amazon EMR devem acessar os AWS serviços e o Amazon EMR. Se um serviço, como o Amazon S3, oferecer a capacidade de criar um endpoint da VPC, você poderá acessar esses serviços usando o endpoint em vez de acessar um endpoint público por meio de um gateway da Internet. Além disso, o Amazon EMR não pode se comunicar com clusters em sub-redes públicas por meio de um dispositivo de conversão de endereços de rede (NAT). É necessário um gateway da Internet para essa finalidade, mas você ainda pode usar uma instância NAT ou um gateway para outros tipos de tráfego em cenários mais complexos.
Todas as instâncias em um cluster se conectam ao Amazon S3 por meio de um endpoint da VPC ou de um gateway da Internet. Outros AWS serviços que atualmente não oferecem suporte a endpoints VPC usam somente um gateway de Internet.
Se você tiver AWS recursos adicionais que não deseja conectar ao gateway da Internet, poderá iniciar esses componentes em uma sub-rede privada que você cria na sua VPC.
Clusters em execução em uma sub-rede pública usam dois grupos de segurança: um para o nó primário e outro para os nós centrais e de tarefa. Para obter mais informações, consulte Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR.
O diagrama a seguir mostra como um cluster do Amazon EMR é executado em uma VPC usando uma sub-rede pública. O cluster é capaz de se conectar a outros AWS recursos, como buckets do Amazon S3, por meio do gateway da Internet.
O diagrama a seguir mostra como configurar uma VPC para que um cluster na VPC possa acessar recursos em sua própria rede, como um banco de dados Oracle.
Sub-redes privadas
Uma sub-rede privada permite que você inicie AWS recursos sem exigir que a sub-rede tenha um gateway de internet conectado. O Amazon EMR oferece suporte à inicialização de clusters em sub-redes privadas nas versões 4.2.0 ou posteriores.
nota
Ao configurar um cluster do Amazon EMR em uma sub-rede privada, recomendamos configurar também endpoints da VPC para o Amazon S3. Se o cluster do EMR estiver em uma sub-rede privada sem endpoints da VPC para o Amazon S3, você incorrerá em cobranças adicionais de gateway NAT associadas ao tráfego do S3, pois o tráfego entre o cluster do EMR e o S3 não permanecerá na VPC.
As sub-redes privadas diferem das sub-redes do seguinte modo:
-
Para acessar AWS serviços que não fornecem um VPC endpoint, você ainda precisa usar uma instância NAT ou um gateway de internet.
-
Você deve fornecer pelo menos uma rota para o bucket de logs de serviço do Amazon EMR e o repositório do Amazon Linux no Amazon S3. Para ter mais informações, consulte Exemplos de políticas para sub-redes privadas que acessam o Amazon S3
-
Se você usa atributos do EMRFS, precisa ter um endpoint da VPC do Amazon S3 e uma rota da sua sub-rede privada para o DynamoDB.
-
A depuração só funcionará se você fornecer uma rota da sua sub-rede privada para um endpoint do Amazon SQS público.
-
A criação de uma configuração de sub-rede privada com uma instância NAT ou um gateway em uma sub-rede pública apenas tem suporte usando o AWS Management Console. A maneira mais fácil de adicionar e configurar instâncias do NAT e endpoints da VPC do Amazon S3 para clusters do Amazon EMR é usar a página Lista de sub-redes da VPC no console do Amazon EMR. Para configurar gateways NAT, consulte Gateways NAT no Guia do usuário da Amazon VPC.
-
Não é possível alterar uma sub-rede com um cluster do Amazon EMR existente de pública para privada, ou vice-versa. Para localizar um cluster do Amazon EMR dentro de uma sub-rede privada, o cluster deve ser iniciado nessa sub-rede privada.
O Amazon EMR cria e usa diferentes grupos de segurança padrão para os clusters em uma sub-rede privada: ElasticMapReduce-Master-Private, ElasticMapReduce -Slave-Private e -. ElasticMapReduce ServiceAccess Para obter mais informações, consulte Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR.
Para obter uma lista completa NACLs do seu cluster, escolha Grupos de segurança para Primário e Grupos de segurança para Core & Task na página de detalhes do cluster do console Amazon EMR.
A imagem a seguir mostra como um cluster do Amazon EMR está configurado dentro de uma sub-rede privada. A única comunicação fora da sub-rede é com o Amazon EMR.
A imagem a seguir mostra uma configuração de exemplo para um cluster do Amazon EMR em uma sub-rede privada conectada a uma instância NAT que reside em uma sub-rede pública.
Sub-redes compartilhadas
O compartilhamento de VPC permite que os clientes compartilhem sub-redes com outras AWS contas na mesma organização. AWS É possível executar clusters do Amazon EMR nas sub-redes compartilhadas públicas e privadas, com as advertências a seguir.
O proprietário da sub-rede deve compartilhar uma sub-rede com você para que você possa executar um cluster do Amazon EMR nela. No entanto, as sub-redes compartilhadas podem deixar de ser compartilhadas posteriormente. Para obter mais informações, consulte Trabalhando com o Shared VPCs. Quando um cluster é iniciado em uma sub-rede compartilhada e, então, essa sub-rede deixa de ser compartilhada, é possível observar comportamentos específicos com base no estado do cluster do Amazon EMR quando a sub-rede deixa de ser compartilhada.
-
A sub-rede deixa de ser compartilhada antes de o cluster ser executado com êxito. Se o proprietário para de compartilhar a Amazon VPC ou sub-rede enquanto o participante estiver executando um cluster, o cluster pode falhar ao iniciar ou ser parcialmente inicializado sem provisionar todas as instâncias solicitadas.
-
A sub-rede deixa de ser compartilhada depois de o cluster ser executado com êxito. Quando o proprietário para de compartilhar uma sub-rede ou Amazon VPC com o participante, os clusters do participante não poderão ser redimensionados para adicionar novas instâncias ou substituir instâncias com problemas de integridade.
Ao executar um cluster do Amazon EMR, são criados vários grupos de segurança. Em uma sub-rede compartilhada, o participante da sub-rede controla esses grupos de segurança. O proprietário da sub-rede pode visualizar esses grupos de segurança, mas não pode executar nenhuma ação neles. Se o proprietário da sub-rede deseja remover ou modificar o grupo de segurança, o participante que criou o grupo de segurança deve realizar a ação.
Controlar permissões da VPC com o IAM
Por padrão, todos os usuários do podem ver todas as sub-redes da conta, e qualquer usuário pode executar um cluster em qualquer sub-rede.
Ao iniciar um cluster em uma VPC, você pode usar o AWS Identity and Access Management (IAM) para controlar o acesso aos clusters e restringir ações usando políticas, assim como faria com clusters lançados no Amazon EC2 Classic. Para obter mais informações sobre o IAM, consulte o Guia do usuário do IAM.
Você também pode usar o IAM para controlar quem pode criar e administrar sub-redes. Por exemplo, você pode criar um perfil do IAM para administrar sub-redes e um segundo perfil que pode iniciar clusters, mas não pode modificar as configurações da Amazon VPC. Para obter mais informações sobre como administrar políticas e ações na Amazon EC2 e na Amazon VPC, consulte Políticas do IAM para a Amazon no Guia do usuário da EC2 EC2 Amazon.
