Criação de um cluster do Amazon EMR com frotas de instâncias ou grupos de instâncias uniformes

Quando você cria um cluster e especifica a configuração do nó primário, dos nós centrais e dos nós de tarefa, existem opções de configuração. Você pode usar frotas de instâncias ou grupos de instâncias uniformes. A opção de configuração escolhida se aplica a todos os nós e pelo tempo de vida do cluster, e frotas de instâncias e grupos de instâncias não podem coexistir em um cluster. A configuração de frotas de instâncias está disponível no Amazon EMR versão 4.8.0 e posteriores, exceto nas versões 5.0.x.

Você pode usar o console do Amazon EMR AWS CLI, o ou a API do Amazon EMR para criar clusters com qualquer configuração. Ao usar o comando create-cluster a partir da AWS CLI, você usar ambos os parâmetros --instance-fleets para criar o cluster usando frotas de instâncias ou, como alternativa, pode usar os parâmetros --instance-groups para criá-los usando grupos de instâncias uniformes.

O mesmo é válido com o uso da API do Amazon EMR. Você usa também a configuração InstanceGroups para especificar uma matriz de objetos InstanceGroupConfig ou usa a configuração InstanceFleets para especificar uma matriz de objetos InstanceFleetConfig.

No novo console do Amazon EMR, é possível escolher usar grupos de instâncias ou frotas de instâncias ao criar um cluster, e você pode de usar instâncias spot com cada opção. Com o antigo console do Amazon EMR, se você usar as configurações padrão de Opções rápidas ao criar seu cluster, o Amazon EMR aplica a configuração uniforme de grupos de instâncias ao cluster e usa Instâncias. On-Demand Para instâncias spot com grupos de instâncias uniformes ou configurar frotas de instâncias e fazer outras personalizações, escolha Advanced Options (Opções avançadas).

Frotas de instâncias

A configuração de frotas de instâncias oferece a mais ampla variedade de opções de provisionamento para instâncias do Amazon EC2. Cada tipo de nó tem uma única frota de instâncias, e a frota de instâncias de tarefa é opcional. Você pode especificar até cinco tipos de instância do EC2 por frota ou 30 tipos de instância do EC2 por frota ao criar um cluster usando a API do AWS CLI Amazon EMR e uma estratégia de alocação para instâncias spot. On-Demand Para as frotas de instâncias principais e de tarefas, você atribui uma capacidade alvo para On-Demand Instâncias e outra para Instâncias Spot. O Amazon EMR escolhe qualquer combinação dos tipos de instância especificados para atender às capacidades desejadas, provisionando tanto as instâncias spot quanto as instâncias spot. On-Demand

Para o tipo de nó principal, o Amazon EMR escolhe um único tipo de instância da sua lista de instâncias e você especifica se ele é provisionado como uma instância spot ou uma instância spot. On-Demand As frotas de instâncias também oferecem opções adicionais para instâncias spot e On-Demand compras. As opções de instância spot incluem um tempo limite que especifica uma ação a ser tomada se a capacidade spot não puder ser provisionada e uma estratégia de alocação preferencial (otimizada para capacidade) para lançar frotas de instâncias spot. On-Demand As frotas de instâncias também podem ser lançadas usando a opção de estratégia de alocação (menor preço). Se você usar um perfil de serviço que não seja o perfil de serviço padrão do EMR ou usar uma política gerenciada do EMR no perfil de serviço, será necessário adicionar outras permissões ao perfil de serviço de cluster personalizado para habilitar a opção de estratégia de alocação. Para obter mais informações, consulte Perfil de serviço para Amazon EMR (perfil do EMR).

Para obter mais informações sobre como configurar frotas de instâncias, consulte Planejamento e configuração de frotas de instâncias para o cluster do Amazon EMR.

Grupos de instâncias uniformes

Os grupos de instâncias uniformes oferecem uma configuração mais simples do que as frotas de instâncias. Cada cluster do Amazon EMR pode ter até 50 grupos de instâncias: um grupo de instâncias primário, que contém uma única instância do Amazon EC2, um grupo de instâncias centrais, que contém uma ou mais instâncias do EC2, e até 48 grupos de instâncias de tarefa opcionais. Cada grupo de instâncias central e de tarefa pode conter qualquer número de instâncias do Amazon EC2. Você pode escalar cada grupo de instâncias adicionando e removendo instâncias do Amazon EC2 manualmente ou pode configurar o ajuste de escala automático. Para obter informações sobre como adicionar e remover instâncias, consulte Use o ajuste de escala de cluster do Amazon EMR para se ajustar às mudanças nas workloads.

Para obter mais informações sobre como configurar grupos de instâncias uniformes, consulte Configuração de grupos de instância uniformes no cluster do Amazon EMR.

Trabalhar com frotas de instâncias e grupos de instâncias