Trabalhar com grupos de segurança gerenciados pelo Amazon EMR - Amazon EMR
ElasticMapReduce-primaryElasticMapReduce-coreElasticMapReduce-primary-privateElasticMapReduce-core-privateElasticMapReduce-ServiceAccess

Trabalhar com grupos de segurança gerenciados pelo Amazon EMR

nota

O Amazon EMR procura usar alternativas inclusivas para termos setoriais potencialmente ofensivos ou não inclusivos, como “mestre” e “escravo”. Fizemos a transição para uma nova terminologia para promover uma experiência mais inclusiva e facilitar a compreensão dos componentes do serviço.

Agora descrevemos “nós” como instâncias e descrevemos os tipos de instância do Amazon EMR como instâncias primárias, centrais e de tarefa. Durante a transição, ainda é possível encontrar referências antigas a termos desatualizados, como aqueles que dizem respeito aos grupos de segurança do Amazon EMR.

Diferentes grupos de segurança gerenciados estão associados à instância primária e às instâncias centrais e de tarefa em um cluster. Um grupo de segurança gerenciado adicional para acesso de serviço é necessário quando você cria um cluster em uma sub-rede privada. Para obter mais informações sobre a função de grupos de segurança gerenciados com respeito à configuração de sua rede, consulte Opções da Amazon VPC ao iniciar um cluster.

Ao especificar grupos de segurança gerenciados para um cluster, você deve usar o mesmo tipo de grupo de segurança, padrão ou personalizado, para todos os grupos de segurança gerenciados. Por exemplo, você não pode especificar um grupo de segurança personalizado para a instância primária e, em seguida, não especificar um grupo de segurança personalizado para instâncias centrais e de tarefa.

Se você usar grupos de segurança gerenciados padrão, não será necessário especificá-los ao criar um cluster. O Amazon EMR usa os padrões automaticamente. Além disso, se os padrões ainda não existirem na VPC do cluster, o Amazon EMR os criará. O Amazon EMR também os criará se você os especificar explicitamente e eles ainda não existirem.

É possível editar regras em grupos de segurança gerenciados depois que os clusters forem criados. Quando você criar um novo cluster, o Amazon EMR verificará as regras nos grupos de segurança gerenciados que você especificar e criará as regras de entrada ausentes necessárias para o novo cluster, além de regras que podem ter sido adicionadas anteriormente. A menos que esteja definido de forma diferente, cada regra para grupos de segurança padrão gerenciados pelo Amazon EMR também é aplicada aos grupos de segurança personalizados gerenciados pelo Amazon EMR que você especificar.

Os grupos de segurança gerenciados padrão são os seguintes:

Grupo de segurança gerenciado pelo Amazon EMR para a instância primária (sub-redes públicas)

O grupo de segurança gerenciado padrão para a instância primária em sub-redes privadas tem o Nome do grupo ElasticMapReduce-primary. Tem as regras a seguir. Se você especificar um grupo de segurança gerenciado personalizado, o Amazon EMR adicionará todas as mesmas regras ao grupo de segurança personalizado.

Tipo Protocolo Intervalo de portas Origem Detalhes
Regras de entrada
Todos ICMPs - IPv4 Todos N/D O ID do grupo de segurança gerenciado da instância principal. Em outras palavras, o mesmo grupo de segurança em que a regra é exibida.

Essas regras reflexivas permitem o tráfego de entrada de qualquer instância associada ao grupo de segurança especificado. O uso do ElasticMapReduce-primary padrão para vários clusters permite que os nós core e de tarefa desses clusters se comuniquem entre si por ICMP ou qualquer porta TCP ou UDP. Especifique grupos de segurança gerenciados personalizados para restringir o acesso entre clusters.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
Todos ICMPs - IPV4 Todos N/D O ID de grupo de segurança gerenciado especificado para nós core e de tarefa.

Essas regras permitem todo o tráfego ICMP de entrada e o tráfego por qualquer porta TCP ou UDP de quaisquer instâncias core e de tarefa que estão associadas com o grupo de segurança especificado, mesmo se as instâncias estiverem em clusters diferentes.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
Personalizar TCP 8443 Vários intervalos de endereços IP da Amazon Essas regras permitem que o gerenciador de clusters se comunique com o nó primário.
Para conceder o acesso SSH a fontes confiáveis ​​ao grupo de segurança primário com o console

Para editar seus grupos de segurança, você deve ter permissão para gerenciar os grupos de segurança para a VPC na qual o cluster está localizado. Para obter mais informações, consulte Alteração de permissões de um usuário e o exemplo de política que permite o gerenciamento de grupos de segurança do EC2 no Guia do usuário do IAM.

  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Escolha Clusters. Escolha o ID do cluster que deseja modificar.

  3. No painel Rede e segurança, expanda o menu suspenso Grupos de segurança (firewall) do EC2.

  4. Em Nó primário, escolha seu grupo de segurança.

  5. Escolha Editar regras de entrada.

  6. Verifique se há uma regra de entrada que permita acesso público com as configurações a seguir. Se existir, escolha Excluir para removê-la.

    • Tipo

      SSH

    • Porta

      22

    • Origem

      Personalizado 0.0.0.0/0

    Atenção

    Antes de dezembro de 2020, havia uma regra configurada previamente para permitir o tráfego de entrada na porta 22 de todas as origens. Esta regra foi criada para simplificar as conexões SSH iniciais com o nó primário. Recomendamos fortemente remover esta regra de entrada e restringir o tráfego para origens confiáveis.

  7. Role até o final da lista de regras e escolha Adicionar regra.

  8. Em Type (Tipo), selecione SSH.

    Selecionar SSH insere automaticamente TCP para Protocolo e 22 para Intervalo de portas.

  9. Para a origem, selecione Meu IP para adicionar automaticamente seu endereço IP como o endereço de origem. Você também pode adicionar um intervalo ​​personalizado de endereços IP de clientes confiáveis ou criar regras adicionais para outros clientes. Diversos ambientes de rede alocam endereços IP dinamicamente, portanto, pode ser necessário atualizar os endereços IP para clientes confiáveis ​​no futuro.

  10. Escolha Salvar.

  11. Opcionalmente, escolha o outro grupo de segurança em Nós centrais e de tarefa no painel Rede e segurança e repita as etapas acima para permitir o acesso do cliente SSH aos nós centrais e de tarefa.

Grupo de segurança gerenciado pelo Amazon EMR para instâncias centrais e de tarefa (sub-redes públicas)

O grupo de segurança gerenciado padrão para instâncias centrais e de tarefa em sub-redes públicas tem o Nome do grupo de ElasticMapReduce-core. O grupo de segurança gerenciado padrão tem as regras a seguir, e o Amazon EMR adicionará as mesmas regras se você especificar um grupo de segurança gerenciado personalizado.

Tipo Protocolo Intervalo de portas Origem Detalhes
Regras de entrada
Todos ICMPs - IPV4 Todos N/D O ID do grupo de segurança gerenciado para instâncias core e de tarefa. Em outras palavras, o mesmo grupo de segurança em que a regra é exibida.

Essas regras reflexivas permitem o tráfego de entrada de qualquer instância associada ao grupo de segurança especificado. O uso do ElasticMapReduce-core padrão para vários clusters permite que as instâncias core e de tarefa desses clusters se comuniquem entre si por ICMP ou qualquer porta TCP ou UDP. Especifique grupos de segurança gerenciados personalizados para restringir o acesso entre clusters.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
Todos ICMPs - IPV4 Todos N/D O ID do grupo de segurança gerenciado da instância principal.

Essas regras permitem todo o tráfego ICMP de entrada e o tráfego por qualquer porta TCP ou UDP de quaisquer instâncias primárias que estão associadas com o grupo de segurança especificado, mesmo se as instâncias estiverem em clusters diferentes.

Todos os TCP TCP Todos
Todos os UDP UDP Todos

Grupo de segurança gerenciado pelo Amazon EMR para a instância primária (sub-redes privadas)

O grupo de segurança gerenciado padrão para a instância primária em sub-redes privadas tem o Nome do grupo ElasticMapReduce-Primary-Private. O grupo de segurança gerenciado padrão tem as regras a seguir, e o Amazon EMR adicionará as mesmas regras se você especificar um grupo de segurança gerenciado personalizado.

Tipo Protocolo Intervalo de portas Origem Detalhes
Regras de entrada
Todos ICMPs - IPv4 Todos N/D O ID do grupo de segurança gerenciado da instância principal. Em outras palavras, o mesmo grupo de segurança em que a regra é exibida.

Essas regras reflexivas permitem o tráfego de entrada de todas as instâncias associadas com o grupo de segurança especificado e acessíveis a partir da sub-rede privada. O uso do ElasticMapReduce-Primary-Private padrão para vários clusters permite que os nós core e de tarefa desses clusters se comuniquem entre si por ICMP ou qualquer porta TCP ou UDP. Especifique grupos de segurança gerenciados personalizados para restringir o acesso entre clusters.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
Todos ICMPs - IPV4 Todos N/D O ID do grupo de segurança gerenciado para nós core e de tarefa.

Essas regras permitem todo o tráfego ICMP de entrada e o tráfego por qualquer porta TCP ou UDP de quaisquer instâncias core e de tarefa que estão associadas com o grupo de segurança especificado e acessíveis a partir da sub-rede privada, mesmo se as instâncias estiverem em clusters diferentes.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
HTTPS (8443) TCP 8443 O ID do grupo de segurança gerenciado para acesso de serviço em uma sub-rede privada. Essa regra permite que o gerenciador de clusters se comunique com o nó primário.
Regras de saída
Todo o tráfego Tudo Tudo 0.0.0.0/0 Fornece acesso de saída à Internet.
TCP personalizado TCP 9443 O ID do grupo de segurança gerenciado para acesso de serviço em uma sub-rede privada.

Se a regra de saída padrão “Todo o tráfego” acima for removida, essa regra será um requisito mínimo para o Amazon EMR 5.30.0 e versões posteriores.

nota

O Amazon EMR não adiciona a regra quando você usa um grupo de segurança gerenciado personalizado.
TCP personalizado TCP 80 (http) ou 443 (https) O ID do grupo de segurança gerenciado para acesso de serviço em uma sub-rede privada.

Se a regra de saída padrão “Todo o tráfego” acima for removida, essa regra será um requisito mínimo para o Amazon EMR 5.30.0 e versões posteriores para se conectar ao Amazon S3 por https.

nota

O Amazon EMR não adiciona a regra quando você usa um grupo de segurança gerenciado personalizado.

Grupo de segurança gerenciado pelo Amazon EMR para instâncias centrais e de tarefa (sub-redes privadas)

O grupo de segurança gerenciado padrão para instâncias centrais e de tarefa em sub-redes privadas tem o Nome do grupo de ElasticMapReduce-Core-Private. O grupo de segurança gerenciado padrão tem as regras a seguir, e o Amazon EMR adicionará as mesmas regras se você especificar um grupo de segurança gerenciado personalizado.

Tipo Protocolo Intervalo de portas Origem Detalhes
Regras de entrada
Todos ICMPs - IPV4 Todos N/D O ID do grupo de segurança gerenciado para instâncias core e de tarefa. Em outras palavras, o mesmo grupo de segurança em que a regra é exibida.

Essas regras reflexivas permitem o tráfego de entrada de qualquer instância associada ao grupo de segurança especificado. O uso do ElasticMapReduce-core padrão para vários clusters permite que as instâncias core e de tarefa desses clusters se comuniquem entre si por ICMP ou qualquer porta TCP ou UDP. Especifique grupos de segurança gerenciados personalizados para restringir o acesso entre clusters.
Todos os TCP TCP Todos
Todos os UDP UDP Todos
Todos ICMPs - IPV4 Todos N/D O ID do grupo de segurança gerenciado da instância principal.

Essas regras permitem todo o tráfego ICMP de entrada e o tráfego por qualquer porta TCP ou UDP de quaisquer instâncias primárias que estão associadas com o grupo de segurança especificado, mesmo se as instâncias estiverem em clusters diferentes.

Todos os TCP TCP Todos
Todos os UDP UDP Todos
HTTPS (8443) TCP 8443 O ID do grupo de segurança gerenciado para acesso de serviço em uma sub-rede privada. Essa regra permite que o gerenciador de clusters se comunique com os nós core e de tarefa.
Regras de saída
Todo o tráfego Tudo Tudo 0.0.0.0/0 Consulte Editar regras de saída abaixo.
TCP personalizado TCP 80 (http) ou 443 (https) O ID do grupo de segurança gerenciado para acesso de serviço em uma sub-rede privada.

Se a regra de saída padrão “Todo o tráfego” acima for removida, essa regra será um requisito mínimo para o Amazon EMR 5.30.0 e versões posteriores para se conectar ao Amazon S3 por https.

nota

O Amazon EMR não adiciona a regra quando você usa um grupo de segurança gerenciado personalizado.

Editar regras de saída

Por padrão, o Amazon EMR cria o grupo de segurança com regras de saída que permitem todo o tráfego de saída em todos os protocolos e portas. A opção de permitir todo o tráfego de saída é selecionada porque várias aplicações do Amazon EMR e do cliente que podem ser executadas em clusters do Amazon EMR podem exigir regras de saída diferentes. O Amazon EMR não consegue prever essas configurações específicas ao criar grupos de segurança padrão. Você pode reduzir o escopo da saída em seus grupos de segurança para incluir somente as regras adequadas a seus casos de uso e políticas de segurança. No mínimo, esse grupo de segurança exige as regras de saída a seguir, mas algumas aplicações podem precisar de saída adicional.

Tipo Protocolo Intervalo de portas Destination (Destino) Detalhes
Todos os TCP TCP Todos pl-xxxxxxxx Lista gerenciada de prefixos do Amazon S3 com.amazonaws.MyRegion.s3.
Todo o tráfego Tudo Todos sg-xxxxxxxxxxxxxxxxx O ID do grupo de segurança ElasticMapReduce-Core-Private.
Todo o tráfego Tudo Todos sg-xxxxxxxxxxxxxxxxx O ID do grupo de segurança ElasticMapReduce-Primary-Private.
TCP personalizado TCP 9443 sg-xxxxxxxxxxxxxxxxx O ID do grupo de segurança ElasticMapReduce-ServiceAccess.

Grupo de segurança gerenciado pelo Amazon EMR para acesso de serviço (sub-redes privadas)

O grupo de segurança gerenciado padrão para acesso de serviço em sub-redes privadas tem o Group Name (Nome do grupo) de ElasticMapReduce-ServiceAccess. Ele tem regras de entrada e regras de saída que permitem o tráfego por HTTPS (porta 8443, porta 9443) para os outros grupos de segurança gerenciados em sub-redes privadas. Essas regras permitem que o gerenciador de clusters se comunique com o nó primário e com os nós centrais e de tarefa. As mesmas regras serão necessárias se você estiver usando grupos de segurança personalizados.

Tipo Protocolo Intervalo de portas Origem Detalhes
Regras de entrada: necessárias para clusters do Amazon EMR com o Amazon EMR versão 5.30.0 e posteriores.
TCP personalizado TCP 9443 O ID do grupo de segurança gerenciado para a instância primária.

Essa regra permite a comunicação entre o grupo de segurança da instância principal e o grupo de segurança de acesso ao serviço.
Regras de saída necessárias para todos os clusters do Amazon EMR
TCP personalizado TCP 8443 O ID do grupo de segurança gerenciado para a instância primária.

Essas regras permitem que o gerenciador de clusters se comunique com o nó primário e com os nós centrais e de tarefa.
TCP personalizado TCP 8443 O ID do grupo de segurança gerenciado para instâncias core e de tarefa.

Essas regras permitem que o gerenciador de clusters se comunique com o nó primário e com os nós centrais e de tarefa.