Opções de compra de instância no Amazon EMR
Ao configurar um cluster, você escolhe uma opção de compra para instâncias do Amazon EC2. É possível escolher instâncias sob demanda, instâncias spot ou ambas. Os preços variam com base no tipo de instância e na região. O preço do Amazon EMR é um acréscimo ao preço do Amazon EC2 (o preço dos servidores subjacentes) e ao preço do Amazon EBS (ao anexar volumes do Amazon EBS). Para obter os preços atuais, consulte Preço do Amazon EMR
Sua opção para usar grupos de instâncias ou frotas de instâncias no cluster determina como você pode alterar opções de compra de instância enquanto um cluster está em execução. Ao escolher grupos de instâncias uniformes, você só poderá especificar a opção de compra para um grupo de instâncias ao criá-lo, e o tipo de instância e a opção de compra se aplicarão a todas as instâncias do Amazon EC2 em cada grupo de instâncias. Se você optar por usar frotas de instâncias, poderá alterar as opções de compra após criar a frota de instância, e poderá combinar opções de compra para preencher uma capacidade alvo especificada por você. Para obter mais informações sobre essas configurações, consulte Criação de um cluster do Amazon EMR com frotas de instâncias ou grupos de instâncias uniformes.
Instâncias sob demanda
Com instâncias sob demanda, você paga pela capacidade computacional por segundo. Opcionalmente, você pode fazer com que essas instâncias sob demanda usem as opções de compra de instâncias reservadas ou dedicadas. Com instâncias reservadas, você faz um pagamento único por uma instância para reservar capacidade. As instâncias dedicadas são isoladas fisicamente no nível de hardware de host das instâncias pertencentes a outras contas da AWS. Para obter mais informações sobre as opções de compra, consulte Opções de compra de instância no Guia do usuário do Amazon EC2.
Usar instâncias reservadas
Para usar instâncias reservadas no Amazon EMR, você usa o Amazon EC2 para adquirir a instância reservada e especifica os parâmetros da reserva, incluindo o escopo da reserva aplicável a uma região ou a uma zona de disponibilidade. Para obter mais informações, consulte Instâncias reservadas do Amazon EC2
-
Uma instância sob demanda é especificada na configuração do cluster que corresponde à especificação da instância reservada.
-
O cluster é executado no escopo da reserva de instância (a zona de disponibilidade ou região).
-
A capacidade da Instância reservada ainda está disponível
Por exemplo, digamos que você compre uma instância reservada m5.xlarge com a reserva de instância direcionada à região US-East. Em seguida, inicie um cluster do Amazon EMR em US-Leste que use duas instâncias m5.xlarge. A primeira instância é cobrada de acordo com a taxa da Instância reservada, e a outra de acordo com a taxa Sob demanda. A capacidade da Instância reservada é usada antes que as Instâncias sob demanda sejam criadas.
Usar instâncias dedicadas
Para usar Instâncias dedicadas, você as compra usando o Amazon EC2 e depois cria uma VPC com o atributo de locação Dedicated. Em seguida, no Amazon EMR, você especifica que um cluster deve ser executado nessa VPC. Todas as instâncias sob demanda no cluster que correspondem com a especificação de instâncias dedicadas usam as instâncias dedicadas disponíveis quando o cluster é executado.
nota
O Amazon EMR não oferece suporte à configuração do atributo dedicated em instâncias individuais.
Instâncias spot
Instâncias spot no Amazon EMR fornecem uma opção para você comprar capacidade de instâncias do Amazon EC2 a um custo reduzido em comparação à compra sob demanda. A desvantagem de usar instâncias spot é que as instâncias podem ser terminadas se a capacidade spot ficar indisponível para o tipo de instância que você está executando. Para obter mais informações sobre quando usar instâncias spot pode ser apropriado para seu aplicativo, consulte Quando você deve usar instâncias spot?.
Quando o Amazon EC2 tem capacidade não utilizada, ele oferece instâncias do EC2 a um custo reduzido, chamado de preço spot. Esse preço flutua com base na disponibilidade e na demanda e é estabelecido por região e zona de disponibilidade. Quando você escolhe instâncias spot, você especifica o preço spot máximo que está disposto a pagar por cada tipo de instância do EC2. Quando o preço spot na zona de disponibilidade do cluster estiver abaixo do preço máximo especificado para esse tipo de instância, as instâncias serão executadas. Enquanto as instâncias forem executadas, você será cobrado de acordo com o preço spot atual e não o preço spot máximo.
nota
As instâncias spot com duração definida (também conhecidas como blocos spot) não estarão mais disponíveis para novos clientes a partir de 1.º de julho de 2021. Aos clientes que utilizaram o recurso anteriormente, continuaremos a oferecer suporte a instâncias spot com duração definida até 31 de dezembro de 2022.
Para obter os preços atuais, consulte Preço das instâncias spot do Amazon EC2
dica
Você pode ver o preço spot em tempo real no console ao passar o mouse sobre a dica de ferramenta de informações ao lado da opção de compra de Spot quando criar um cluster usando as Advanced Options (Opções avançadas). Os preços de cada zona de disponibilidade na região selecionada são exibidos. Os preços mais baixos estão nas linhas de cor verde. Devido à flutuação dos preços Spot entre as Zonas de disponibilidade, selecionar a Zona de disponibilidade com o menor preço inicial pode não resultar no menor preço durante a vigência do cluster. Para obter os melhores resultados, estude o histórico de preços da Zona de disponibilidade antes de escolher. Para obter mais informações, consulte Histórico de definição de preço da instância spot no Guia do usuário do Amazon EC2.
As opções de instâncias Spot dependem de você usar grupos de instâncias uniformes ou frotas de instâncias na sua configuração de cluster.
Instâncias Spot em grupos de instâncias uniformes
Quando você usar instâncias Spot em um grupo de instâncias uniforme, todas as instâncias desse grupo devem ser instâncias Spot. Você especifica uma única sub-rede ou Zona de disponibilidade para o cluster. Para cada grupo de instâncias, você especifica uma única instância spot e um preço spot máximo. As instâncias spot desse tipo serão executadas se o preço spot na região e na zona de disponibilidade do cluster estiver abaixo do preço spot máximo. As instâncias serão encerradas se o preço spot estiver acima do preço spot máximo. Você define o preço spot máximo somente ao configurar um grupo de instâncias. Não é possível alterá-lo mais tarde. Para ter mais informações, consulte Criação de um cluster do Amazon EMR com frotas de instâncias ou grupos de instâncias uniformes.
Instâncias Spot em frotas de instâncias
Quando você usa a configuração de frotas de instâncias, opções adicionais dão maior controle sobre como as instâncias Spot são executadas e encerradas. Fundamentalmente, frotas de instâncias usam um método diferente daquele de grupos de instâncias uniformes para executar instâncias. Isso funciona porque estabelecer uma capacidade alvo para instâncias Spot (e instâncias sob demanda) e até cinco tipos de instâncias. Você também pode especificar uma capacidade ponderada para cada tipo de instância ou usar a vCPU (vcores YARN) do tipo de instância como capacidade ponderada. Essa capacidade ponderada conta para a capacidade de destino quando uma instância desse tipo é provisionada. O Amazon EMR provisiona instâncias com ambas as opções de compra, até que a capacidade de cada de destino seja preenchida. Além disso, é possível definir um intervalo de zonas de disponibilidade para que o Amazon EMR escolha ao executar instâncias. Você também fornece opções spot adicionais para cada frota, incluindo um tempo limite de provisionamento. Para ter mais informações, consulte Planejamento e configuração de frotas de instâncias para o cluster do Amazon EMR.
