Uso de la protección de finalización para proteger sus clústeres de Amazon EMR de un cierre accidental - Amazon EMR
Protección contra la terminación y Amazon EC2Protección de terminación y nodos de YARN en mal estadoProtección de finalización y finalización tras la ejecución de pasosProtección de terminación e instancias de spotConfiguración de la protección de terminación al lanzar un clústerConfiguración de la protección de terminación para ejecutar clústeres

Uso de la protección de finalización para proteger sus clústeres de Amazon EMR de un cierre accidental

La protección de finalización protege sus clústeres de la finalización accidental, lo que puede resultar especialmente útil para clústeres de larga ejecución que procesan cargas de trabajo críticas. Si la protección de terminación está habilitada en un clúster de ejecución prolongada, puede seguir terminando el clúster, pero primero debe quitar de forma explícita la protección de terminación de este. Esto ayuda a garantizar que las instancias EC2 no se cierren por accidente o por error. Puede habilitar la protección de terminación al crear un clúster y también cambiar este ajuste en un clúster en ejecución.

Con la protección de terminación habilitada, la acción TerminateJobFlows de la API de Amazon EMR no funciona. Los usuarios no pueden terminar el clúster con esta API ni con el comando terminate-clusters desde la AWS CLI. La API devuelve un error y la CLI se cierra con un código de devolución distinto de cero. Cuando utilice la consola de Amazon EMR para terminar un clúster, se le pedirá que realice un paso adicional para desactivar la protección de terminación.

aviso

La protección contra la terminación no garantiza que los datos se conserven en caso de un error humano o de una solución alternativa; por ejemplo, si se emite un comando de reinicio desde la línea de comandos mientras se está conectado a la instancia mediante SSH, si una aplicación o un script que se ejecuta en la instancia emite un comando de reinicio o si se utiliza la API de Amazon EC2 o de Amazon EMR para deshabilitar la protección contra la terminación. Esto también es cierto si está ejecutando la versión 7.1 y posteriores de Amazon EMR y una instancia deja de estar en buen estado y es irrecuperable. Incluso con la protección contra la terminación habilitada, los datos guardados en el almacenamiento de instancias, incluidos los datos del HDFS, se pueden perder. Escriba salidas de datos en las ubicaciones de Amazon S3 y cree estrategias de copia de seguridad adecuadas para sus requisitos de continuidad empresarial.

La protección de terminación no afecta a la capacidad para escalar los recursos del clúster con cualquiera de las siguientes acciones:

Protección contra la terminación y Amazon EC2

La configuración de protección de finalización en un clúster de Amazon EMR corresponde al atributo DisableApiTermination para todas las instancias de Amazon EC2 en el clúster. Por ejemplo, si habilita la protección de finalización en un clúster de EMR, Amazon EMR establece automáticamente DisableApiTermination en verdadero para todas las instancias EC2 del clúster de EMR. Lo mismo se aplica si deshabilita la protección de finalización. Amazon EMR establece automáticamente DisableApiTermination en falso para todas las instancias de EC2 del clúster de EMR. Si finaliza o reduce verticalmente un clúster de Amazon EMR y la configuración de Amazon EC2 entra en conflicto para una instancia de EC2, Amazon EMR prioriza la configuración de Amazon EMR sobre las configuraciones de DisableApiStop y DisableApiTermination en Amazon EC2 y continúa finalizando la instancia de EC2.

Por ejemplo, puede usar la consola Amazon EC2 para habilitar la protección de finalización en una instancia de Amazon EC2 en un clúster EMR con la protección de finalización deshabilitada. Si finaliza o reduce verticalmente el clúster con la consola de Amazon EMR, la AWS CLI o la API de Amazon EMR, Amazon EMR anula la configuración de DisableApiTermination, la establece en “false” y finaliza la instancia junto con las demás instancias.

Puede usar también la consola Amazon EC2 para habilitar la protección de detención en una instancia de Amazon EC2 en un clúster EMR con la protección de finalización deshabilitada. Si finaliza o reduce verticalmente el clúster, Amazon EMR establece DisableApiStop en “false” en Amazon EC2 y finaliza la instancia junto con las demás instancias.

Amazon EMR anula la configuración de DisableApiStop solo cuando se finaliza o se reduce verticalmente un clúster. Al habilitar o deshabilitar la protección de finalización en un clúster de EMR, Amazon EMR no cambia la configuración de disableApiStop para ninguna de las instancias de EC2 del clúster de EMR correspondiente.

importante

Si crea una instancia como parte de un clúster de Amazon EMR con la protección de finalización y se utiliza la API de Amazon EC2 o los comandos de la AWS CLI para modificar dicha instancia de forma que DisableApiTermination sea false y, a continuación, la API de Amazon EC2 o los comandos de la AWS CLI ejecutan la operación TerminateInstances, la instancia de Amazon EC2 finaliza.

Protección de terminación y nodos de YARN en mal estado

Amazon EMR comprueba periódicamente el estado de Apache Hadoop YARN de los nodos que se ejecutan en las instancias de Amazon EC2 básicas y de tareas de un clúster. El estado se notifica mediante el servicio de comprobación de estado NodeManager. Si un nodo informa de que su estado es UNHEALTHY, el controlador de instancias de Amazon EMR lo agrega a la lista de denegación y no le asigna contenedores YARN hasta que vuelva a estar en buen estado. Según los estados de la protección de finalización, el reemplazo de nodos en mal estado y la versión de lanzamiento de Amazon EMR, Amazon EMR reemplazará la instancia en mal estado o dejará de asignar controladores a la instancia.

Protección de finalización y finalización tras la ejecución de pasos

Cuando habilita la finalización tras la ejecución de pasos y también habilita la protección de finalización, Amazon EMR ignora la protección de finalización.

Al enviar pasos a un clúster, puede establecer la propiedad ActionOnFailure para determinar qué sucede si el paso no puede completar su ejecución debido a un error. Los valores posibles para esta propiedad son TERMINATE_CLUSTER (TERMINATE_JOB_FLOW con versiones anteriores), CANCEL_AND_WAIT y CONTINUE. Para obtener más información, consulte Envío del trabajo a un clúster de Amazon EMR.

Si se produce un error en un paso que se ha configurado con el valor ActionOnFailure en CANCEL_AND_WAIT, y la ejecución de pasos se ha habilitado, el clúster finaliza sin ejecutar los pasos siguientes.

Si se produce un error en un paso que tiene la propiedad ActionOnFailure establecida en TERMINATE_CLUSTER, utilice la tabla de configuración mostrada a continuación para determinar el resultado.

ActionOnFailure Finalización después de la ejecución de pasos Protección de finalización Resultado

TERMINATE_CLUSTER

Habilitado

Deshabilitad

El clúster termina

Habilitado

Habilitado

El clúster termina

Deshabilitad

Habilitado

El clúster continúa

Deshabilitad

Deshabilitad

El clúster termina

Protección de terminación e instancias de spot

La protección de terminación de Amazon EMR no impide que una instancia de spot de Amazon EC2 termine cuando el precio de spot supera el precio de spot máximo.

Configuración de la protección de terminación al lanzar un clúster

Puede habilitar o deshabilitar la protección de terminación al lanzar un clúster con la consola, la AWS CLI o la API.

Para los clústeres de un solo nodo, la configuración de protección de finalización predeterminada es la siguiente:

  • Lanzamiento de un clúster mediante la consola Amazon EMR: la protección de finalización está deshabilitada de forma predeterminada.

  • Lanzamiento de un clúster mediante la AWS CLI aws emr create-cluster: la protección de finalización está deshabilitada a menos que se especifique --termination-protected.

  • Lanzamiento de un clúster mediante el comando RunJobFlow de la API de Amazon EMR: la protección de finalización está deshabilitada a menos que el valor booleano TerminationProtected esté establecido en true.

Para los clústeres de alta disponibilidad, la configuración de protección de finalización predeterminada es la siguiente:

  • Lanzamiento de un clúster mediante la consola de Amazon EMR: la protección de finalización está habilitada de forma predeterminada.

  • Lanzamiento de un clúster mediante la AWS CLI aws emr create-cluster: la protección de finalización está deshabilitada a menos que se especifique --termination-protected.

  • Lanzamiento de un clúster mediante el comando RunJobFlow de la API de Amazon EMR: la protección de finalización está deshabilitada a menos que el valor booleano TerminationProtected esté establecido en true.

Console
Para activar o desactivar la protección de finalización al crear un clúster con la consola

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EMR en https://console.aws.amazon.com/emr.

  2. En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

  3. En el caso de la versión de lanzamiento de EMR, elija emr-6.6.0 o posterior.

  4. En Finalización del clúster y sustitución del nodo, asegúrese de que la opción Usar la protección de finalización esté preseleccionada o anule la selección para desactivarla.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

AWS CLI
Para activar o desactivar la protección de terminación al crear un clúster con la AWS CLI

  • Con la AWS CLI, puede lanzar un clúster con la protección de terminación habilitada mediante el comando create-cluster con el parámetro --termination-protected. La protección de terminación está deshabilitada de forma predeterminada.

    En el siguiente ejemplo, se crea un clúster con la protección de terminación habilitada:

    nota

    Se incluyen caracteres de continuación de línea de Linux (\) para facilitar la lectura. Se pueden eliminar o utilizar en los comandos de Linux. En Windows, elimínelos o sustitúyalos por un signo de intercalación (^).

    aws emr create-cluster --name "TerminationProtectedCluster" --release-label emr-7.3.0 \
--applications Name=Hadoop Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3 --termination-protected

    Para más información sobre el uso de comandos de Amazon EMR en la AWS CLI, consulte https://docs.aws.amazon.com/cli/latest/reference/emr.

Configuración de la protección de terminación para ejecutar clústeres

Puede configurar la protección de terminación para un clúster en ejecución utilizando la consola o la AWS CLI.

Console
Para activar o desactivar la protección de finalización de un clúster en ejecución con la consola

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EMR en https://console.aws.amazon.com/emr.

  2. En EMR en EC2, en el panel de navegación izquierdo, elija Clústeres y seleccione el clúster que desee actualizar.

  3. En la pestaña Propiedades de la página de detalles del clúster, busque Terminación del clúster y seleccione Editar.

  4. Seleccione o anule la selección de la casilla Use la protección contra la terminación para activar o desactivar la característica. A continuación, seleccione Guardar cambios para confirmar.

AWS CLI
Para activar o desactivar la protección de terminación en un clúster en ejecución mediante la AWS CLI

  • Para habilitar la protección de terminación en un clúster en ejecución mediante la AWS CLI, utilice el comando modify-cluster-attributes con el parámetro --termination-protected. Para deshabilitarla, utilice el parámetro --no-termination-protected.

    En el siguiente ejemplo, se habilita la protección de terminación en el clúster que tiene el ID j-3KVTXXXXXX7UG:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --termination-protected

    En el siguiente ejemplo, se deshabilita la protección de terminación en el mismo clúster:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected