Creación de un clúster de Amazon EMR con flotas de instancias o grupos de instancias uniformes

Al crear un clúster y especificar la configuración del nodo principal y de los nodos básicos y de tareas, tiene dos opciones de configuración. Puede utilizar flotas de instancias o grupos de instancias uniformes. La opción de configuración que elija se aplica a todos los nodos, se aplica durante toda la vida útil del clúster y las flotas de instancias y los grupos de instancias no pueden coexistir en un clúster. La configuración de las flotas de instancias está disponible en la versión 4.8.0 y posteriores de Amazon EMR, excluyendo las versiones 5.0.x.

Puede utilizar la consola de Amazon EMR AWS CLI, la o la API de Amazon EMR para crear clústeres con cualquier configuración. Al utilizar el comando create-cluster desde la AWS CLI, puede utilizar los parámetros --instance-fleets para crear el clúster utilizando las flotas de instancias o, como opción, utilizar los parámetros --instance-groups para crearlo usando grupos de instancias uniformes.

Lo mismo sucede utilizando la API de Amazon EMR. Puede utilizar la configuración InstanceGroups para especificar una matriz de objetos InstanceGroupConfig o bien utilizar la configuración InstanceFleets para especificar una matriz de objetos InstanceFleetConfig.

En la nueva consola de Amazon EMR, puede elegir utilizar grupos de instancias o flotas de instancias al crear un clúster y tiene la opción de utilizar instancias de spot con cada uno de ellos. Con la antigua consola de Amazon EMR, si utiliza la configuración predeterminada de Quick Options al crear el clúster, Amazon EMR aplica la configuración uniforme de los grupos de instancias al clúster y utiliza instancias. On-Demand Para utilizar las instancias de spot con grupos de instancias uniformes o para configurar las flotas de instancias y otras personalizaciones, elija Advanced Options (Opciones avanzadas).

Flotas de instancias

La configuración de flotas de instancias ofrece la más amplia variedad de opciones de aprovisionamiento para instancias de Amazon EC2. Cada tipo de nodo tiene una sola flota de instancia y la flota de instancia de tarea es opcional. Puede especificar hasta cinco tipos de instancias de EC2 por flota o 30 tipos de instancias de EC2 por flota al crear un clúster mediante la API de AWS CLI Amazon EMR y una estrategia de asignación de instancias puntuales. On-Demand Para las flotas de instancias principales y de tareas, debe asignar una capacidad objetivo para las instancias y otra para On-Demand las instancias puntuales. Amazon EMR elige cualquier combinación de los tipos de instancias especificados para cumplir con las capacidades objetivo On-Demand y aprovisiona tanto instancias puntuales como instancias puntuales.

Para el tipo de nodo principal, Amazon EMR elige un único tipo de instancia de la lista de instancias y usted especifica si se aprovisiona como instancia puntual On-Demand o instancia puntual. Las flotas de instancias también ofrecen opciones adicionales para las compras y las instancias puntuales. On-Demand Las opciones de instancias puntuales incluyen un tiempo de espera que especifica la acción que se debe realizar en caso de que no se pueda aprovisionar la capacidad puntual y una estrategia de asignación preferida (optimizada en cuanto a la capacidad) para lanzar flotas de instancias puntuales. On-Demand Las flotas de instancias también se pueden lanzar mediante la opción de estrategia de asignación (precio más bajo). Si utiliza un rol de servicio que no es el predeterminado de EMR o utiliza una política administrada de EMR en su rol de servicio, debe agregar permisos adicionales al rol de servicio de clúster personalizado para habilitar la opción de estrategia de asignación. Para obtener más información, consulte Rol de servicio para Amazon EMR (rol de EMR).

Para más información acerca de la configuración de las flotas de instancias, consulte Planificación y configuración de flotas de instancias para su clúster de Amazon EMR.

Grupos de instancias uniformes

Los grupos de instancias uniformes ofrecen una configuración más sencilla que las flotas de instancias. Cada clúster de Amazon EMR puede incluir hasta 50 grupos de instancias: un grupo de instancias principales que contiene una instancia de Amazon EC2, un grupo de instancias básicas que contiene una o varias instancias de EC2 y hasta 48 grupos de instancias de tarea opcionales. Cada grupo de instancias básicas y de tarea puede contener cualquier número de instancias de Amazon EC2. Puede escalar cada grupo de instancias agregando y eliminando instancias de Amazon EC2 manualmente o puede configurar el escalado automático. Para obtener información sobre la adición y eliminación de instancias, consulte Utilice el escalado de clústeres de Amazon EMR para adaptarse a las cargas de trabajo cambiantes.

Para obtener más información acerca de la configuración de grupos de instancias uniformes, consulte Configuración de grupos de instancias uniformes para su clúster de Amazon EMR.

Uso de flotas de instancias y grupos de instancias