Creación de acciones de arranque para instalar software adicional con un clúster de Amazon EMR - Amazon EMR
Conceptos básicos de las acciones de arranqueEjecución condicional de una acción de arranqueAcciones de apagadoUsar acciones de arranque personalizadas

Creación de acciones de arranque para instalar software adicional con un clúster de Amazon EMR

Puede utilizar una acción de arranque para instalar software adicional o personalizar la configuración de las instancias de clúster. Las acciones de arranque son scripts que se ejecutan en el clúster después de que Amazon EMR lanza la instancia mediante la imagen de máquina de Amazon (AMI) de Amazon Linux. Las acciones de arranque se ejecutan antes de que Amazon EMR instale las aplicaciones que se especifican al crear el clúster y antes de que los nodos del clúster comiencen a procesar los datos. Si añade nodos a un clúster en ejecución, las acciones de arranque también se ejecutan en esos nodos de la misma manera. Puede crear acciones de arranque personalizadas y especificarlas al crear el clúster.

La mayoría de las acciones de arranque predefinidas para las versiones 2.x y 3.x de la AMI de Amazon EMR no se admiten en sus versiones 4.x. Por ejemplo, configure-Hadoop y configure-daemons no se admiten en la versión 4.x de Amazon EMR. En su lugar, Amazon EMR versión 4.x proporciona esta funcionalidad de forma nativa. Para más información sobre cómo migrar las acciones de arranque de las versiones 2.x y 3.x de la AMI de Amazon EMR a la versión 4.x de Amazon EMR, consulte Personalización de la configuración de clústeres y aplicaciones con versiones anteriores de la AMI de Amazon EMR en la Guía de versiones de Amazon EMR.

Conceptos básicos de las acciones de arranque

Las acciones de arranque se ejecutan como usuario de Hadoop de forma predeterminada. Puede ejecutar una acción de arranque con privilegios raíz utilizando sudo.

Todas las interfaces de administración de Amazon EMR admiten acciones de arranque. Puede especificar hasta 16 acciones de arranque por clúster proporcionando varios parámetros bootstrap-actions desde la consola, la AWS CLI o la API.

Desde la consola de Amazon EMR, puede especificar opcionalmente una acción de arranque al crear un clúster.

Cuando utilice la CLI, puede pasar referencias a scripts de acciones de arranque a Amazon EMR si agrega el parámetro --bootstrap-actions al crear el clúster mediante el comando create-cluster.

--bootstrap-actions Path="s3://amzn-s3-demo-bucket/filename",Args=[arg1,arg2]

Si la acción de arranque devuelve un código de error distinto de cero, Amazon EMR lo trata como un error y termina la instancia. Si hay demasiadas instancias que generen error en sus acciones de arranque, entonces Amazon EMR termina el clúster. Si solo unas pocas instancias generan error, Amazon EMR intenta reasignar las instancias erróneas y continuar. Utilice el código de error lastStateChangeReason del clúster para identificar los errores provocados por una acción de arranque.

Ejecución condicional de una acción de arranque

Para ejecutar solo una acción de arranque en el nodo maestro, puede usar una acción de arranque personalizada con un poco de lógica para determinar si el nodo es maestro.

#!/bin/bash
if grep isMaster /mnt/var/lib/info/instance.json | grep false;
then        
    echo "This is not master node, do nothing,exiting"
    exit 0
fi
echo "This is master, continuing to execute script"
# continue with code logic for master node below

El siguiente resultado se imprimirá desde un nodo principal.

This is not master node, do nothing, exiting

El siguiente resultado se imprimirá desde el nodo maestro.

This is master, continuing to execute script

Para utilizar esta lógica, cargue su acción de arranque, incluido el código anterior, en su bucket de Amazon S3. En AWS CLI, agregue el parámetro --bootstrap-actions a la llamada a la API aws emr create-cluster y especifique la ubicación del script de arranque como valor de Path.

Acciones de apagado

Una script de acción de arranque puede crear una o más acciones de apagado escribiendo scripts en el directorio /mnt/var/lib/instance-controller/public/shutdown-actions/. Cuando un clúster se termina, todos los scripts en este directorio se ejecutan en paralelo. Cada script se debe ejecutar y completar en un plazo de 60 segundos.

No se garantiza la ejecución de los scripts de acción de apagado si el nodo termina con un error.

nota

Cuando se utiliza la versión 4.0 y posteriores de Amazon EMR, debe crear manualmente el directorio /mnt/var/lib/instance-controller/public/shutdown-actions/ en el nodo maestro. No existe de forma predeterminada; sin embargo, después de crearlos, los scripts en este directorio se ejecutan a pesar de todo antes del apagado. Para obtener más información acerca de la conexión al nodo principal para crear directorios, consulte Conexión al nodo principal del clúster de Amazon EMR mediante SSH.

Usar acciones de arranque personalizadas

Puede crear un script personalizado para realizar una acción de arranque personalizada. Cualquiera de las interfaces de Amazon EMR puede hacer referencia a una acción de arranque personalizada.

nota

Para obtener el mejor rendimiento, se recomienda que almacene las acciones de arranque personalizadas, los scripts y otros archivos que desee utilizar con Amazon EMR en un bucket de Amazon S3 que se encuentre en la misma Región de AWS que su clúster.

Agregar acciones de arranque personalizadas

Console
Para crear un clúster con una acción de arranque mediante la consola

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EMR en https://console.aws.amazon.com/emr.

  2. En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

  3. En Acciones de arranque, elija Agregar para especificar un nombre, una ubicación del script y argumentos opcionales para la acción. Seleccione Agregar acción de arranque.

  4. Opcionalmente, agregue más acciones de arranque.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

CLI
Para crear un clúster con una acción de arranque personalizada mediante la AWS CLI

Cuando utilice la AWS CLI para incluir una acción de arranque, especifique Path y Args como una lista separada por comas. El siguiente ejemplo no utiliza una lista de argumentos.

  • Para lanzar un clúster con una acción de arranque personalizada, escriba el comando siguiente y sustituya myKey por el nombre del par de claves de EC2. Incluya --bootstrap-actions como parámetro y especifique la ubicación del script de arranque como valor de Path.

    • Usuarios de Linux, UNIX y Mac OS X:

      aws emr create-cluster --name "Test cluster" --release-label emr-4.0.0 \
--use-default-roles --ec2-attributes KeyName=myKey \
--applications Name=Hive Name=Pig \
--instance-count 3 --instance-type m5.xlarge \
--bootstrap-actions Path="s3://elasticmapreduce/bootstrap-actions/download.sh"

    • Usuarios de Windows:

      aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --use-default-roles --ec2-attributes KeyName=myKey --applications Name=Hive Name=Pig --instance-count 3 --instance-type m5.xlarge --bootstrap-actions Path="s3://elasticmapreduce/bootstrap-actions/download.sh"

    Cuando especifica el recuento de instancias sin utilizar el parámetro --instance-groups, se lanza un nodo principal único y el resto de las instancias se lanzan como nodos básicos. Todos los nodos utilizarán el tipo de instancia especificado en el comando.

    nota

    Si no ha creado con anterioridad el rol de servicio de Amazon EMR predeterminado y el perfil de instancia de EC2, escriba aws emr create-default-roles para crearlos antes de escribir el subcomando create-cluster.

    Para obtener más información sobre cómo usar los comandos de Amazon EMR en la AWS CLI, consulte https://docs.aws.amazon.com/cli/latest/reference/emr.

Usar una acción de arranque personalizada para copiar un objeto de Amazon S3 en cada nodo

Puede utilizar una acción de arranque para copiar objetos desde Amazon S3 en cada nodo de un clúster antes de que se instalen las aplicaciones. La AWS CLI se instala en cada nodo del clúster, por lo que la acción de arranque puede llamar a los comandos de la AWS CLI.

En el siguiente ejemplo, se muestra un script sencillo de acción de arranque que copia el archivo myfile.jar desde Amazon S3 en la carpeta local /mnt1/myfolder de cada nodo del clúster. El script se guarda en Amazon S3 con el nombre de archivo copymyfile.sh y contiene lo siguiente.

#!/bin/bash
aws s3 cp s3://amzn-s3-demo-bucket/myfilefolder/myfile.jar /mnt1/myfolder

Al lanzar el clúster, debe especificar el script. En el siguiente ejemplo de la AWS CLI se muestra cómo hacerlo:

aws emr create-cluster --name "Test cluster" --release-label emr-7.3.0 \
--use-default-roles --ec2-attributes KeyName=myKey \
--applications Name=Hive Name=Pig \
--instance-count 3 --instance-type m5.xlarge \
--bootstrap-actions Path="s3://amzn-s3-demo-bucket/myscriptfolder/copymyfile.sh"