Redimensionar manualmente um cluster da Amazon EMR em execução

Para redimensionar um cluster alterando a contagem de instâncias com o AWS CLI

Você pode adicionar instâncias ao grupo principal ou ao grupo de tarefas e remover instâncias do grupo de tarefas com o AWS CLI modify-instance-groups subcomando com o InstanceCount parâmetro. Para adicionar instâncias aos grupos core ou de tarefas, aumente o InstanceCount. Para reduzir o número de instâncias no grupo de tarefas, diminua o InstanceCount. Alterar o número de instâncias do grupo de tarefas para 0 remove todas as instâncias, mas não o grupo de instâncias.

• Para aumentar o número de instâncias no grupo de instâncias de tarefas de 3 para 4, digite o comando a seguir e ig-31JXXXXXXBTO substitua pelo ID do grupo de instâncias.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-31JXXXXXXBTO,InstanceCount=4

  Para recuperar o InstanceGroupId, use o subcomando describe-cluster. A saída é um JSON objeto chamado Cluster que contém o ID de cada grupo de instâncias. Para usar esse comando, você precisa do ID do cluster (que pode ser recuperado usando o comando aws emr list-clusters ou pelo console). Para recuperar o ID do grupo de instâncias, digite o comando a seguir e j-2AXXXXXXGAPLF substitua-o pelo ID do cluster.

  aws emr describe-cluster --cluster-id j-2AXXXXXXGAPLF

  Com o AWS CLI, você também pode encerrar uma instância no grupo de instâncias principal com o --modify-instance-groups subcomando.

  Atenção

  A especificação de EC2InstanceIdsToTerminate deve ser feita com cuidado. As instâncias são encerradas imediatamente, independentemente do status dos aplicativos em execução nelas, e as instâncias não são substituídas automaticamente. Isso é verdadeiro, independentemente da configuração de Scale down behavior (Comportamento da escalabilidade vertical) do cluster. O encerramento de uma instância dessa forma tem o risco de perda de dados e de comportamento imprevisível do cluster.

  Para encerrar uma instância específica, você precisa do ID do grupo de instâncias (retornado pelo aws emr describe-cluster --cluster-id subcomando) e do ID da instância (retornado pelo aws emr list-instances --cluster-id subcomando), digite o comando a seguir, ig-6RXXXXXX07SA substitua pelo ID do grupo de instâncias e i-f9XXXXf2 substitua pelo ID da instância.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-6RXXXXXX07SA,EC2InstanceIdsToTerminate=i-f9XXXXf2

  Para obter mais informações sobre o uso dos EMR comandos da Amazon no AWS CLI, consultehttps://docs.aws.amazon.com/cli/latest/reference/emr.

Para redimensionar um cluster adicionando grupos de instâncias de tarefas com o AWS CLI

Com o AWS CLI, você pode adicionar de 1 a 48 grupos de instâncias de tarefas a um cluster com o --add-instance-groups subcomando. Os grupos de instâncias de tarefa só podem ser adicionados a um cluster contendo um grupo de instâncias primárias e um grupo de instâncias centrais. Ao usar o AWS CLI, você pode adicionar até cinco grupos de instâncias de tarefas sempre que usar o --add-instance-groups subcomando.

1. Para adicionar um único grupo de instâncias de tarefas a um cluster, digite o comando a seguir e j-JXBXXXXXX37R substitua pelo ID do cluster.

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge

2. Para adicionar vários grupos de instâncias de tarefas a um cluster, digite o comando a seguir e j-JXBXXXXXX37R substitua pelo ID do cluster. Você pode adicionar até cinco grupos de instâncias de tarefas em um único comando.

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge InstanceCount=10,InstanceGroupType=task,InstanceType=m5.xlarge

   Para obter mais informações sobre o uso dos EMR comandos da Amazon no AWS CLI, consultehttps://docs.aws.amazon.com/cli/latest/reference/emr.

Para interromper um redimensionamento com o AWS CLI

Você pode usar o AWS CLI para interromper o redimensionamento com o modify-instance-groups subcomando. Suponha que você tem seis instâncias em um grupo de instâncias e deseja aumentar este número para 10. E mais tarde você decide cancelar essa solicitação:

• A solicitação inicial:

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=10

  A segunda solicitação para interromper a primeira solicitação:

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=6

Para redefinir um cluster em um SUSPENDED estado com o AWS CLI

Digite o subcomando describe-cluster com o parâmetro --cluster-id para visualizar o estado das instâncias no cluster.

• Para ver informações sobre todas as instâncias e grupos de instâncias em um cluster, digite o comando a seguir e j-3KVXXXXXXY7UG substitua pelo ID do cluster.

  aws emr describe-cluster --cluster-id j-3KVXXXXXXY7UG

  A saída exibe informações sobre os grupos de instâncias e o estado das instâncias:

  {
      "Cluster": {
          "Status": {
              "Timeline": {
                  "ReadyDateTime": 1413187781.245,
                  "CreationDateTime": 1413187405.356
              },
              "State": "WAITING",
              "StateChangeReason": {
                  "Message": "Waiting after step completed"
              }
          },
          "Ec2InstanceAttributes": {
              "Ec2AvailabilityZone": "us-west-2b"
          },
          "Name": "Development Cluster",
          "Tags": [],
          "TerminationProtected": false,
          "RunningAmiVersion": "3.2.1",
          "NormalizedInstanceHours": 16,
          "InstanceGroups": [
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187775.749,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "MASTER",
                  "InstanceGroupType": "MASTER",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3ETXXXXXXFYV8",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              },
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187781.301,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "CORE",
                  "InstanceGroupType": "CORE",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3SUXXXXXXQ9ZM",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              }
  ...
  }

  Para exibir as informações sobre um grupo de instâncias específico, digite o subcomando list-instances com os parâmetros --cluster-id e --instance-group-types. Você pode visualizar as informações para grupos primários, centrais ou de tarefa.

  aws emr list-instances --cluster-id j-3KVXXXXXXY7UG --instance-group-types "CORE"

  Use o subcomando modify-instance-groups com o parâmetro --instance-groups para redefinir um cluster no estado SUSPENDED. O ID do grupo de instâncias é obtido pelo subcomando describe-cluster.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-3SUXXXXXXQ9ZM,InstanceCount=3