Uso de uma política de encerramento automático para limpeza de cluster do Amazon EMR - Amazon EMR
ConsideraçõesPermissões para usar o término automáticoAnexar, atualizar ou remover uma política de término automático

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Uso de uma política de encerramento automático para limpeza de cluster do Amazon EMR

Uma política de término automático permite orquestrar a limpeza do cluster sem a necessidade de monitorar e terminar manualmente os clusters não utilizados. Ao adicionar uma política de término automático a um cluster, especifique a quantidade de tempo ocioso após o qual o cluster deverá ser desligado automaticamente.

Dependendo da versão, o Amazon EMR usa critérios diferentes para marcar um cluster como ocioso. A tabela a seguir descreve como o Amazon EMR determina a ociosidade do cluster.

Quando você usa... O cluster é considerado ocioso quando...
Amazon EMR versões 5.34.0 e posteriores e 6.4.0 e posteriores

  • Não há aplicações YARN ativas

  • A utilização do HDFS está abaixo de 10%

  • Não há conexões ativas de caderno do EMR ou do EMR Studio

  • Não há interfaces de usuário de aplicações no cluster em uso

  • Não há etapas pendentes
Amazon EMR versões 5.30.0 a 5.33.0 e 6.1.0 a 6.3.0

  • Não há aplicações YARN ativas

  • O cluster não tem trabalhos do Spark ativos

nota

O Amazon EMR marca um cluster como ocioso e pode terminá-lo automaticamente mesmo se você tiver um kernel Python3 ativo. Isso ocorre porque a execução de um kernel do Python3 não envia um trabalho do Spark no cluster. Para usar o encerramento automático com um kernel do Python3, recomendamos usar a versão 6.4.0 ou as versões posteriores do Amazon EMR.
nota

O Amazon EMR versões 6.4.0 e posteriores oferecem suporte a um arquivo no cluster para detectar atividades no nó primário: /emr/metricscollector/isbusy. Ao usar um cluster para executar scripts de shell ou aplicações que não sejam do YARN, você pode tocar ou atualizar isbusy periodicamente para informar ao Amazon EMR que o cluster não está ocioso.

É possível anexar uma política de término automático ao criar um cluster ou adicionar uma política a um cluster atual. Para alterar ou desabilitar o término automático, é possível atualizar ou remover a política.

Considerações

Leve em consideração os atributos e as limitações a seguir antes de usar uma política de término automático:

  • A seguir Regiões da AWS, a terminação automática do Amazon EMR está disponível com o Amazon EMR 6.14.0 e superior:

    • Europa (Espanha) (eu-south-2)

  • A seguir Regiões da AWS, a terminação automática do Amazon EMR está disponível com o Amazon EMR 5.30.0 e 6.1.0 e versões superiores:

    • Leste dos EUA (Norte da Virgínia) (us-east-1)

    • Leste dos EUA (Ohio) (us-east-2)

    • Oeste dos EUA (Oregon) (us-west-2)

    • Oeste dos EUA (Norte da Califórnia) (us-west-1)

    • África (Cidade do Cabo) (af-south-1)

    • Ásia-Pacífico (Hong Kong) (ap-east-1)

    • Ásia-Pacífico (Mumbai) (ap-south-1)

    • Ásia-Pacífico (Hyderabad) (ap-south-2)

    • Ásia-Pacífico (Seul) (ap-northeast-2)

    • Ásia-Pacífico (Osaka) (ap-northeast-3)

    • Ásia-Pacífico (Singapura) (ap-southeast-1)

    • Ásia-Pacífico (Sydney) (ap-southeast-2)

    • Ásia-Pacífico (Jacarta) (ap-southeast-3)

    • Ásia Pacific (Tóquio) (ap-northeast-1)

    • Canadá (Central) (ca-central-1)

    • América do Sul (São Paulo) (sa-east-1)

    • Europa (Frankfurt) (eu-central-1)

    • Europa (Zurique) (eu-central-2)

    • Europa (Irlanda) (eu-west-1)

    • Europa (Londres) (eu-west-2)

    • UE (Milão) (eu-south-1)

    • Europa (Paris) (eu-west-3)

    • UE (Estocolmo) (eu-north-1)

    • Israel (Tel Aviv) (il-central-1)

    • Oriente Médio (EAU) (me-central-1)

    • China (Pequim) (cn-north-1)

    • China (Ningxia) (cn-northwest-1)

    • AWS GovCloud (Leste dos EUA) (us-gov-east-1)

    • AWS GovCloud (Oeste dos EUA) (us-gov-west-1)

  • O tempo limite ocioso é padronizado para 60 minutos (uma hora) quando não há um valor especificado. Você pode especificar um tempo limite ocioso mínimo de um minuto e um tempo limite ocioso máximo de sete dias.

  • Com o Amazon EMR versões 6.4.0 e posteriores, o término automático é habilitado por padrão quando você cria um novo cluster usando o console do Amazon EMR.

  • O Amazon EMR publica Amazon CloudWatch métricas de alta resolução quando você ativa o encerramento automático de um cluster. Use essas métricas para monitorar a atividade e a ociosidade do cluster. Para obter mais informações, consulte Métricas de capacidade de cluster.

  • A terminação automática não é suportada quando você usa aplicativos não baseados em Yarn, como Presto, Trino ou. HBase

  • Para usar o término automático, o processo coletor de métricas deve ser capaz de se conectar ao endpoint público da API para o término automático no API Gateway. Se você usar um nome DNS privado com Amazon Virtual Private Cloud, o encerramento automático não funcionará corretamente. Para garantir que o término automático funcione, é recomendável executar uma das seguintes ações:

  • (Amazon EMR 5.30.0 e versões posteriores) Se você remover a regra de saída Permitir tudo padrão para 0.0.0.0/ para o grupo de segurança primário, deverá adicionar uma regra que permita a conectividade TCP de saída ao grupo de segurança para acesso ao serviço na porta 9443. O grupo de segurança para acesso ao serviço também deve permitir tráfego TCP de entrada na porta 9443 do grupo de segurança primário. Para obter mais informações sobre como configurar grupos de segurança, consulte Amazon EMR-managed security group for the primary instance (private subnets).

Permissões para usar o término automático

Antes de aplicar e gerenciar políticas de término automático para o Amazon EMR, é necessário anexar as permissões listadas no exemplo a seguir da política de permissões do IAM aos recursos do IAM que gerenciam o cluster do EMR.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Anexar, atualizar ou remover uma política de término automático

Esta seção contém instruções que ajudam a anexar, atualizar ou remover uma política de término automático de um cluster do Amazon EMR. Antes de trabalhar com políticas de término automático, verifique se você tem as permissões do IAM necessárias. Consulte Permissões para usar o término automático.

Console
Para anexar uma política de encerramento automático ao criar um cluster usando o console

  1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Término do cluster, selecione Terminar cluster após tempo ocioso.

  4. Especifique o número de horas e minutos ociosos que podem decorrer antes que o cluster seja terminado automaticamente. O tempo ocioso padrão é de uma hora.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

Para anexar, atualizar ou remover uma política de encerramento automático de um cluster em execução usando o console

  1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar.

  3. Na guia Propriedades da página de detalhes do cluster, localize Término do cluster e selecione Editar.

  4. Selecione ou desmarque Habilitar término automático para ativar ou desativar o atributo. Se você ativar o término automático, especifique o número de horas e minutos ociosos que podem decorrer antes que o cluster seja terminado automaticamente. Depois selecione Salvar alterações para confirmar.

AWS CLI

Antes de começar

Antes de trabalhar com políticas de término automático, é recomendável atualizar para a versão mais recente da AWS CLI. Para obter instruções, consulte Installing, updating, and uninstalling the AWS CLI.

Anexar ou atualizar uma política de término automático usando a AWS CLI

  • Use o comando aws emr put-auto-termination-policy para anexar ou atualizar uma política de término automático em um cluster.

    O exemplo a seguir especifica 3600 segundos para. IdleTimeout Se você não especificarIdleTimeout, o valor padrão será uma hora. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    nota

    Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

    Também é possível especificar um valor para --auto-termination-policy ao usar o comando aws emr create-cluster. Para obter mais informações sobre o uso dos comandos do Amazon EMR no AWS CLI, consulte a Referência de AWS CLI comandos.

Para remover uma política de encerramento automático com o AWS CLI

  • Use o comando aws emr remove-auto-termination-policy para remover uma política de término automático de um cluster. Para obter mais informações sobre o uso dos comandos do Amazon EMR no AWS CLI, consulte a Referência de AWS CLI comandos.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>