Criação de um cluster do Amazon EMR com frotas de instâncias ou grupos de instâncias uniformes

Quando você cria um cluster e especifica a configuração do nó primário, dos nós centrais e dos nós de tarefa, existem opções de configuração. Você pode usar frotas de instâncias ou grupos de instâncias uniformes. A opção de configuração escolhida se aplica a todos os nós e pelo tempo de vida do cluster, e frotas de instâncias e grupos de instâncias não podem coexistir em um cluster. A configuração de frotas de instâncias está disponível no Amazon EMR versão 4.8.0 e posteriores, exceto nas versões 5.0.x.

Você pode usar o console do Amazon EMR, a AWS CLI, ou a API do Amazon EMR para criar clusters com qualquer uma dessas configurações. Ao usar o comando create-cluster a partir da AWS CLI, você usar ambos os parâmetros --instance-fleets para criar o cluster usando frotas de instâncias ou, como alternativa, pode usar os parâmetros --instance-groups para criá-los usando grupos de instâncias uniformes.

O mesmo é válido com o uso da API do Amazon EMR. Você usa também a configuração InstanceGroups para especificar uma matriz de objetos InstanceGroupConfig ou usa a configuração InstanceFleets para especificar uma matriz de objetos InstanceFleetConfig.

No novo console do Amazon EMR, é possível escolher usar grupos de instâncias ou frotas de instâncias ao criar um cluster, e você pode de usar instâncias spot com cada opção. No console antigo do Amazon EMR, se você usar as configurações de Opções rápidas ao criar um cluster, o Amazon EMR aplicará a configuração de grupos de instâncias uniformes a esse cluster e usará instâncias sob demanda. Para instâncias spot com grupos de instâncias uniformes ou configurar frotas de instâncias e fazer outras personalizações, escolha Advanced Options (Opções avançadas).

Frotas de instâncias

A configuração de frotas de instâncias oferece a mais ampla variedade de opções de provisionamento para instâncias do Amazon EC2. Cada tipo de nó tem uma única frota de instâncias, e a frota de instâncias de tarefa é opcional. É possível especificar até cinco tipos de instância do EC2 por frota ou 30 tipos de instância do EC2 por frota ao criar um cluster usando a AWS CLI ou a API do Amazon EMR e uma estratégia de alocação para instâncias sob demanda e spot. Para as frotas de instâncias centrais e de tarefa, você atribui uma capacidade de destino para instâncias sob demanda e outra para instâncias spot. O Amazon EMR escolhe qualquer combinação dos tipos de instâncias especificados para preencher as capacidades de destino, provisionando tanto instâncias sob demanda como instâncias spot.

Para o tipo de nó primário, o Amazon EMR escolhe um único tipo de instância da lista de instâncias, e você especifica se esse tipo é configurado como uma instância sob demanda ou spot. As frotas de instâncias também oferecem outras opções para compras de instâncias spot e sob demanda. As opções de instância spot incluem um tempo limite que especifica uma ação a ser tomada, caso não seja possível provisionar a capacidade spot, e uma estratégia de alocação preferencial (otimizada para capacidade) para iniciar frotas de instâncias spot. Também é possível iniciar frotas de instâncias sob demanda usando a opção de estratégia de alocação (menor preço). Se você usar um perfil de serviço que não seja o perfil de serviço padrão do EMR ou usar uma política gerenciada do EMR no perfil de serviço, será necessário adicionar outras permissões ao perfil de serviço de cluster personalizado para habilitar a opção de estratégia de alocação. Para ter mais informações, consulte Perfil de serviço para Amazon EMR (perfil do EMR).

Para obter mais informações sobre como configurar frotas de instâncias, consulte Planejamento e configuração de frotas de instâncias para o cluster do Amazon EMR.

Grupos de instâncias uniformes

Os grupos de instâncias uniformes oferecem uma configuração mais simples do que as frotas de instâncias. Cada cluster do Amazon EMR pode ter até 50 grupos de instâncias: um grupo de instâncias primário, que contém uma única instância do Amazon EC2, um grupo de instâncias centrais, que contém uma ou mais instâncias do EC2, e até 48 grupos de instâncias de tarefa opcionais. Cada grupo de instâncias central e de tarefa pode conter qualquer número de instâncias do Amazon EC2. Você pode escalar cada grupo de instâncias adicionando e removendo instâncias do Amazon EC2 manualmente ou pode configurar o ajuste de escala automático. Para obter informações sobre como adicionar e remover instâncias, consulte Use o ajuste de escala de cluster do Amazon EMR para se ajustar às mudanças nas workloads.

Para obter mais informações sobre como configurar grupos de instâncias uniformes, consulte Configuração de grupos de instância uniformes no cluster do Amazon EMR.

Trabalhar com frotas de instâncias e grupos de instâncias