Cambiar manualmente el tamaño de un clúster de Amazon EMR en ejecución

Para cambiar el tamaño de un clúster cambiando el recuento de instancias con el AWS CLI

Puede añadir instancias al grupo principal o al grupo de tareas y eliminar instancias del grupo de tareas con el AWS CLI modify-instance-groups subcomando del InstanceCount parámetro. Para agregar instancias a los grupos de instancias principales o de tareas, aumente el InstanceCount. Para reducir el número de instancias en el grupo de tareas, reduzca el InstanceCount. Al cambiar el recuento de instancias del grupo de tareas a 0 se eliminan todas las instancias, pero no el grupo de instancias.

• Para aumentar el número de instancias en el grupo de instancias de tareas de 3 a 4, escribe el siguiente comando y reemplaza ig-31JXXXXXXBTO con el ID del grupo de instancias.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-31JXXXXXXBTO,InstanceCount=4

  Para recuperar el InstanceGroupId, utilice el subcomando describe-cluster. La salida es un JSON objeto denominado Cluster que contiene el ID de cada grupo de instancias. Para utilizar este comando, necesita el ID del clúster (que puede recuperar con el comando aws emr list-clusters o la consola). Para recuperar el ID del grupo de instancias, escribe el siguiente comando y reemplaza j-2AXXXXXXGAPLF con el ID del clúster.

  aws emr describe-cluster --cluster-id j-2AXXXXXXGAPLF

  Con el AWS CLI, también puedes terminar una instancia del grupo de instancias principal con el --modify-instance-groups subcomando.

  aviso

  Debe prestarse especial atención cuando se especifique EC2InstanceIdsToTerminate. Las instancias se terminan de forma inmediata, independientemente del estado de las aplicaciones que se ejecutan en ellas y de que la instancia no se sustituya automáticamente. Esto ocurre independientemente de la configuración de Scale down behavior (Comportamiento de escalado descendente) del clúster. Terminar una instancia de esta forma conlleva el riesgo de pérdida de datos y de un comportamiento del clúster imprevisible.

  Para terminar una instancia específica, necesitas el ID del grupo de instancias (devuelto por el aws emr describe-cluster --cluster-id subcomando) y el ID de instancia (devuelto por el aws emr list-instances --cluster-id subcomando). Escribe el siguiente comando y reemplaza ig-6RXXXXXX07SA por el ID del grupo de instancias y reemplázalo i-f9XXXXf2 con el ID de la instancia.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-6RXXXXXX07SA,EC2InstanceIdsToTerminate=i-f9XXXXf2

  Para obtener más información sobre el uso de EMR los comandos de Amazon en AWS CLI, consultehttps://docs.aws.amazon.com/cli/latest/reference/emr.

Para cambiar el tamaño de un clúster añadiendo grupos de instancias de tareas con la AWS CLI

Con el AWS CLI, puedes añadir de 1 a 48 grupos de instancias de tareas a un clúster con el --add-instance-groups subcomando. Los grupos de instancias de tareas solo se pueden agregar a un clúster que contenga un grupo de instancias principales y un grupo de instancias de núcleo. Al utilizar el subcomando AWS CLI, puede añadir hasta cinco grupos de instancias de tareas cada vez que utilice el --add-instance-groups subcomando.

1. Para añadir un único grupo de instancias de tareas a un clúster, escriba el siguiente comando y reemplace j-JXBXXXXXX37R con el ID del clúster.

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge

2. Para añadir varios grupos de instancias de tareas a un clúster, escriba el siguiente comando y reemplace j-JXBXXXXXX37R con el ID del clúster. Puede añadir hasta cinco grupos de instancias de tareas en un solo comando.

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge InstanceCount=10,InstanceGroupType=task,InstanceType=m5.xlarge

   Para obtener más información sobre el uso de EMR los comandos de Amazon en AWS CLI, consultehttps://docs.aws.amazon.com/cli/latest/reference/emr.

Para interrumpir un cambio de tamaño con el AWS CLI

Puede utilizar el AWS CLI para detener un cambio de tamaño con el modify-instance-groups subcomando. Supongamos que tiene seis instancias en un grupo de instancias y que desea aumentarlo a 10. Más tarde decide que desea cancelar esta solicitud:

• La solicitud inicial:

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=10

  La segunda solicitud para detener la primera solicitud:

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=6

Para restablecer un clúster en un SUSPENDED estado con AWS CLI

Escriba el subcomando describe-cluster con el parámetro --cluster-id para ver el estado de las instancias en el clúster.

• Para ver la información sobre todas las instancias y grupos de instancias de un clúster, escribe el siguiente comando y reemplaza j-3KVXXXXXXY7UG con el ID del clúster.

  aws emr describe-cluster --cluster-id j-3KVXXXXXXY7UG

  La salida muestra información sobre los grupos de la instancia y el estado de las instancias:

  {
      "Cluster": {
          "Status": {
              "Timeline": {
                  "ReadyDateTime": 1413187781.245,
                  "CreationDateTime": 1413187405.356
              },
              "State": "WAITING",
              "StateChangeReason": {
                  "Message": "Waiting after step completed"
              }
          },
          "Ec2InstanceAttributes": {
              "Ec2AvailabilityZone": "us-west-2b"
          },
          "Name": "Development Cluster",
          "Tags": [],
          "TerminationProtected": false,
          "RunningAmiVersion": "3.2.1",
          "NormalizedInstanceHours": 16,
          "InstanceGroups": [
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187775.749,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "MASTER",
                  "InstanceGroupType": "MASTER",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3ETXXXXXXFYV8",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              },
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187781.301,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "CORE",
                  "InstanceGroupType": "CORE",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3SUXXXXXXQ9ZM",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              }
  ...
  }

  Para ver información sobre un grupo de instancias determinado, escriba el subcomando list-instances con los parámetros --cluster-id e --instance-group-types. Puede consultar información para los grupos principales, de núcleo o de tarea.

  aws emr list-instances --cluster-id j-3KVXXXXXXY7UG --instance-group-types "CORE"

  Utilice el subcomando modify-instance-groups con el parámetro --instance-groups para restablecer un clúster en el estado SUSPENDED. El subcomando describe-cluster devuelve el id del grupo de instancias.

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-3SUXXXXXXQ9ZM,InstanceCount=3