Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar Spark

Puede configurar Spark en Amazon EMR con clasificaciones de configuración. Para obtener más información sobre cómo las clasificaciones de configuración, consulte Configuración de aplicaciones.

Entre las clasificaciones de configuración para Spark en Amazon EMR se incluyen los siguientes:

Valores predeterminados de Spark establecidos por Amazon EMR

En la siguiente tabla, se muestra cómo Amazon EMR establece valores los predeterminados en spark-defaults que afectan a las aplicaciones.

Configuración de la recopilación de elementos no utilizados de Spark en Amazon EMR 6.1.0

Al establecer configuraciones personalizadas de recopilación de elementos no utilizados con spark.driver.extraJavaOptions y spark.executor.extraJavaOptions, se produce un error en el lanzamiento del controlador o el ejecutor con Amazon EMR 6.1 debido a un conflicto de configuración de recopilación de elementos no utilizados con Amazon EMR 6.1.0. En el caso de Amazon EMR 6.1.0, la configuración predeterminada de recopilación de elementos no utilizados se establece mediante spark.driver.defaultJavaOptions y spark.executor.defaultJavaOptions. Esta configuración se aplica únicamente a Amazon EMR 6.1.0. Las opciones de JVM que no estén relacionadas con la recopilación de elementos no utilizados, como las que permiten configurar el registro (-verbose:class), todavía se pueden establecer mediante extraJavaOptions. Para obtener más información, consulte Spark application properties.

Uso de maximizeResourceAllocation

Si quiere configurar los ejecutores para utilizar el máximo de recursos posible en cada nodo de un clúster, establezca maximizeResourceAllocation en true en la clasificación de configuración spark. La opción maximizeResourceAllocation es específica de Amazon EMR. Al habilitar maximizeResourceAllocation, Amazon EMR calcula el máximo de recursos de computación y de memoria disponibles para un ejecutor en una instancia del grupo de instancias principales. A continuación, establece la configuración spark-defaults correspondiente en función de los valores máximos calculados.

Amazon EMR calcula el máximo de recursos de computación y de memoria disponibles para un ejecutor basado en un tipo de instancia de la flota de instancias principales. Dado que cada flota de instancias puede tener distintos tipos y tamaños de instancias dentro de una flota, la configuración de ejecutor que utiliza Amazon EMR puede no ser la mejor para sus clústeres, por lo que no recomendamos utilizar la configuración predeterminada cuando se utilice la asignación máxima de recursos. Configure ajustes personalizados para los clústeres de su flota de instancias.

A continuación, se muestra un ejemplo de una clasificación de configuración de Spark con la opción maximizeResourceAllocation establecida en true.

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

Configuración del comportamiento de retirada de nodos

Con la versión 5.9.0 o una posterior de Amazon EMR, Spark en Amazon EMR incluye un conjunto de características para ayudar a garantizar que Spark gestione correctamente la terminación de los nodos debido a una solicitud de cambio de tamaño manual o de política de escalado automático. Amazon EMR implementa un mecanismo de lista de denegación en Spark que se basa en el mecanismo de retirada de YARN. Este mecanismo ayuda a evitar que se programen tareas nuevas en un nodo que se está retirando, al tiempo que permite que finalicen las tareas que ya se están ejecutando. Además, existen características para ayudar a recuperar los trabajos de Spark más rápido si se pierden bloques de reorganización cuando termina un nodo. El proceso de recálculo se activa antes, y está optimizado para realizarse más rápido, con menos reintentos de etapas, y se puede evitar que se produzcan errores en los trabajos debido a problemas de recuperación provocados por los bloques de reorganización que faltan.

Variable de entorno Spark ThriftServer

Spark establece la variable de entorno Hive Thrift Server Port, HIVE_SERVER2_THRIFT_PORT, en 10 001.

Cambio de la configuración predeterminada de Spark

Puede cambiar la configuración predeterminada en spark-defaults.conf utilizando la clasificación de configuración spark-defaults al crear el clúster o el ajuste maximizeResourceAllocation en la clasificación de configuración spark.

Los siguientes procedimientos muestran cómo modificar los ajustes mediante la CLI o la consola.

Migración de Apache Log4j 1.x a Log4j 2.x

Las versiones 3.2.x y anteriores de Apache Spark utilizan la versión heredada de Apache Log4j 1.x y el archivo log4j.properties para configurar Log4j en los procesos de Spark. Las versiones 3.3.0 y posteriores de Apache Spark utilizan Apache Log4j 2.x y el archivo log4j2.properties para configurar Log4j en los procesos de Spark.

Si ha configurado Apache Spark Log4j con una versión de Amazon EMR anterior a la 6.8.0, debe eliminar la clasificación de configuración spark-log4j heredada y completar la migración al formato de clave y clasificación de configuración spark-log4j2 para poder actualizar a la versión 6.8.0 o posteriores de Amazon EMR. La clasificación spark-log4j heredada provoca un error ValidationException en la creación del clúster en las versiones 6.8.0 y posteriores de Amazon EMR. No se le cobrará nada en caso de un error relacionado con la incompatibilidad de Log4j, pero deberá eliminar la clasificación de configuración spark-log4j extinta para continuar.

Para obtener más información sobre la migración de Apache Log4j 1.x a Log4j 2.x, consulte Apache Log4j Migration Guide y Spark Log4j 2 Template en GitHub.