Inicie clusters em um VPC - Amazon EMR
Garantindo endereços IP disponíveis para um EMR cluster em EC2

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Inicie clusters em um VPC

Depois de ter uma sub-rede configurada para hospedar EMR clusters da Amazon, inicie o cluster nessa sub-rede especificando o identificador de sub-rede associado ao criar o cluster.

nota

A Amazon EMR oferece suporte a sub-redes privadas nas versões de lançamento 4.2 e superiores.

Quando o cluster é lançado, a Amazon EMR adiciona grupos de segurança com base no fato de o cluster estar sendo lançado em sub-redes públicas ou VPC privadas. Todos os grupos de segurança permitem a entrada na porta 8443 para se comunicar com o EMR serviço da Amazon, mas os intervalos de endereços IP variam para sub-redes públicas e privadas. EMRA Amazon gerencia todos esses grupos de segurança e pode precisar adicionar endereços IP adicionais ao AWS intervalo ao longo do tempo. Para obter mais informações, consulte Controle do tráfego de rede com grupos de segurança.

Para gerenciar o cluster em umVPC, a Amazon EMR conecta um dispositivo de rede ao nó primário e o gerencia por meio desse dispositivo. Você pode visualizar esse dispositivo usando a EC2 API ação da Amazon DescribeInstances. Se esse dispositivo for modificado de qualquer maneira, o cluster poderá falhar.

Console
Para iniciar um cluster em um VPC com o console

  1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Rede, vá para o campo Nuvem privada virtual (VPC). Insira o nome do seu VPC ou escolha Procurar para selecionar seuVPC. Como alternativa, escolha Criar VPC para criar um VPC que você possa usar para seu cluster.

  4. Escolha qualquer outra opção que se aplique ao cluster.

  5. Para iniciar o cluster, escolha Criar cluster.

AWS CLI
Para iniciar um cluster em um VPC com o AWS CLI
nota

O AWS CLI não fornece uma maneira de criar uma NAT instância automaticamente e conectá-la à sua sub-rede privada. No entanto, para criar um endpoint S3 na sua sub-rede, você pode usar os comandos da Amazon. VPC CLI Use o console para criar NAT instâncias e executar clusters em uma sub-rede privada.

Depois de VPC configurado, você pode iniciar EMR clusters da Amazon nele usando o create-cluster subcomando com o --ec2-attributes parâmetro. Use o --ec2-attributes parâmetro para especificar a VPC sub-rede do seu cluster.

  • Para criar um cluster em uma sub-rede específica, digite o seguinte comando, substitua myKey com o nome do seu par de EC2 chaves da Amazon e substitua 77XXXX03 com seu ID de sub-rede.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Quando você especifica a contagem de instâncias sem usar o parâmetro --instance-groups, um único nó primário é executado, e as instâncias restantes são executadas como nós centrais. Todos os nós usam o tipo de instância especificado no comando.

    nota

    Se você ainda não criou a função de EMR serviço e o perfil de EC2 instância padrão da Amazon, digite aws emr create-default-roles para criá-los antes de digitar o create-cluster subcomando.

Garantindo endereços IP disponíveis para um EMR cluster em EC2

Para garantir que uma sub-rede com endereços IP livres suficientes esteja disponível quando você iniciar, a seleção de EC2 sub-rede verifica a disponibilidade de IP. O processo de criação usa uma sub-rede com a contagem necessária de endereços IP para iniciar os nós principais, primários e de tarefas conforme necessário, mesmo que, na criação inicial, somente os nós principais do cluster sejam criados. EMRverifica o número de endereços IP necessários para iniciar os nós primários e de tarefas durante a criação, bem como calcula separadamente o número de endereços IP necessários para iniciar os nós principais. O número mínimo de instâncias ou nós primários e de tarefas necessários é determinado automaticamente pela AmazonEMR.

Importante

Se nenhuma sub-rede VPC tiver o suficiente disponível IPs para acomodar os nós essenciais, um erro será retornado e o cluster não será criado.

Na maioria dos casos de implantação, há uma diferença de tempo entre cada lançamento dos nós principais, primários e de tarefas. Além disso, é possível que vários clusters compartilhem uma sub-rede. Nesses casos, a disponibilidade do endereço IP pode flutuar e os lançamentos subsequentes dos nós de tarefas, por exemplo, podem ser limitados pelos endereços IP disponíveis.