Configurando um EMR cluster da Amazon para continuar ou encerrar após a execução da etapa - Amazon EMR
Criar um cluster de execução prolongadaConfigurar a execução da etapa

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurando um EMR cluster da Amazon para continuar ou encerrar após a execução da etapa

Este tópico explica as diferenças entre usar um cluster de execução prolongada e criar um cluster transitório que é desativado após a execução da última etapa. Também aborda como configurar a execução de etapas em um cluster.

Criar um cluster de execução prolongada

Por padrão, os clusters que você cria com o console ou com o AWS CLI são de longa duração. Os clusters de execução prolongada continuam funcionando, aceitando trabalho e acumulando cobranças até você tomar medidas para desativá-los.

Um cluster de execução prolongada tem efeito nas seguintes situações:

  • Quando você precisa consultar dados de forma interativa ou automática.

  • Quando você precisa interagir continuamente com aplicações de big data hospedadas no cluster.

  • Quando você processa periodicamente um conjunto de dados tão grande ou com tanta frequência que é ineficiente iniciar novos clusters e carregar dados todas as vezes.

Você também pode definir a proteção contra encerramento em um cluster de longa duração para evitar o desligamento de EC2 instâncias por acidente ou erro. Para obter mais informações, consulte Usando a proteção contra rescisão para proteger seus EMR clusters da Amazon contra o desligamento acidental.

nota

A Amazon habilita EMR automaticamente a proteção contra terminação para todos os clusters com vários nós primários e substitui todas as configurações de execução de etapas que você fornece ao criar o cluster. É possível desabilitar a proteção contra término depois que o cluster é iniciado. Consulte Configurar a proteção contra término para clusters em execução. Para desligar um cluster com múltiplos nós primários, primeiro é necessário modificar os atributos do cluster para desabilitar a proteção contra término. Para obter instruções, consulte Encerrar um EMR cluster da Amazon com vários nós primários.

Configurar um cluster para terminar após a execução da etapa

Quando você configura o término após a execução da etapa, o cluster é iniciado, executa ações de bootstrap e executa as etapas especificadas. Assim que a última etapa for concluída, a Amazon EMR encerrará as instâncias Amazon EC2 do cluster. Os clusters que você executa com a Amazon EMR API têm a execução em etapas ativada por padrão.

O término após a execução da etapa é eficaz para clusters que realizam uma tarefa de processamento periódico, como uma execução diária do processamento de dados. A execução de etapas também ajuda a garantir que você pague somente pelo tempo necessário para processar seus dados. Para mais informações sobre as etapas, consulte Envie o trabalho para um EMR cluster da Amazon.

Console
Para ativar o encerramento após a execução da etapa usando o console

  1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Etapas, escolha Adicionar etapa. Na caixa de diálogo Adicionar etapa, insira os valores apropriados dos campos. As opções diferem dependendo do tipo de etapa. Para adicionar a etapa e sair da caixa de diálogo, escolha Adicionar etapa.

  4. Em Término do cluster, marque a caixa de seleção Terminar cluster após a conclusão da última etapa.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

AWS CLI
Para ativar a rescisão após a execução da etapa com o AWS CLI

  • Especifique o parâmetro --auto-terminate quando usar o comando create-cluster para criar um cluster transitório.

    O exemplo a seguir demonstra com usar o parâmetro --auto-terminate. Você pode digitar o comando a seguir e myKey substituí-lo pelo nome do seu EC2 key pair.

    nota

    Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

    aws emr create-cluster --name "Test cluster" --release-label emr-7.5.0 \
--applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
--steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
Args=[-f,s3://amzn-s3-demo-bucket/scripts/pigscript.pig,-p,\
INPUT=s3://amzn-s3-demo-bucket/inputdata/,-p,OUTPUT=s3://amzn-s3-demo-bucket/outputdata/,\
$INPUT=s3://amzn-s3-demo-bucket/inputdata/,$OUTPUT=s3://amzn-s3-demo-bucket/outputdata/]
--instance-type m5.xlarge --instance-count 3 --auto-terminate
API
Para desativar o encerramento após a execução da etapa com o Amazon EMR API no cluster, execute

  1. Ao usar a RunJobFlowação para criar um cluster, defina a KeepJobFlowAliveWhenNoStepspropriedade comofalse.

  2. Para alterar sua configuração de encerramento após a execução da etapa com o lançamento do Amazon EMR API Post Cluster:

    Use SetKeepJobFlowAliveWhenNoSteps a ação.