Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar Spark

Puedes configurar Spark en Amazon EMR con clasificaciones de configuración. Para obtener más información sobre cómo las clasificaciones de configuración, consulte Configuración de aplicaciones.

Las clasificaciones de configuración de Spark en Amazon EMR incluyen las siguientes:

Amazon establece los valores predeterminados de Spark EMR

En la siguiente tabla se muestra cómo Amazon EMR establece los valores predeterminados spark-defaults que afectan a las aplicaciones.

Configuración de la recolección de basura de Spark en Amazon EMR 6.1.0

Si se establecen configuraciones de recolección de basura personalizadas con spark.driver.extraJavaOptions Amazon 6.1, se spark.executor.extraJavaOptions produce un error al iniciar el controlador o ejecutor con Amazon EMR 6.1 debido a un conflicto de configuración de recolección de basura con Amazon EMR 6.1.0. Para Amazon EMR 6.1.0, la configuración de recolección de basura predeterminada se establece mediante spark.driver.defaultJavaOptions yspark.executor.defaultJavaOptions. Esta configuración solo se aplica a Amazon EMR 6.1.0. JVMaún se pueden configurar opciones no relacionadas con la recolección de basura, como las que permiten configurar logging (-verbose:class). extraJavaOptions Para obtener más información, consulte Spark application properties.

Uso de maximizeResourceAllocation

Si quiere configurar los ejecutores para utilizar el máximo de recursos posible en cada nodo de un clúster, establezca maximizeResourceAllocation en true en la clasificación de configuración spark. maximizeResourceAllocationEs específico de AmazonEMR. Cuando se habilitamaximizeResourceAllocation, Amazon EMR calcula el número máximo de recursos informáticos y de memoria disponibles para un ejecutor en una instancia del grupo de instancias principal. A continuación, establece la configuración spark-defaults correspondiente en función de los valores máximos calculados.

Amazon EMR calcula los recursos informáticos y de memoria máximos disponibles para un ejecutor en función de un tipo de instancia de la flota de instancias principales. Dado que cada flota de instancias puede tener distintos tipos y tamaños de instancias dentro de una flota, la configuración de ejecutor que EMR usa Amazon puede no ser la mejor para sus clústeres, por lo que no recomendamos usar la configuración predeterminada cuando se utilice la asignación máxima de recursos. Configura ajustes personalizados para los clústeres de tu flota de instancias.

A continuación, se muestra un ejemplo de una clasificación de configuración de Spark con la opción maximizeResourceAllocation establecida en true.

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

Configuración del comportamiento de retirada de nodos

Con la EMR versión 5.9.0 y posteriores de Amazon, Spark en Amazon EMR incluye un conjunto de funciones que ayudan a garantizar que Spark gestione correctamente la terminación de nodos debido a un cambio de tamaño manual o a una solicitud de política de escalado automático. Amazon EMR implementa un mecanismo de rechazo de listados en Spark que se basa en el mecanismo de YARN desmantelamiento. Este mecanismo ayuda a evitar que se programen tareas nuevas en un nodo que se está retirando, al tiempo que permite que finalicen las tareas que ya se están ejecutando. Además, existen características para ayudar a recuperar los trabajos de Spark más rápido si se pierden bloques de reorganización cuando termina un nodo. El proceso de recálculo se activa antes, y está optimizado para realizarse más rápido, con menos reintentos de etapas, y se puede evitar que se produzcan errores en los trabajos debido a problemas de recuperación provocados por los bloques de reorganización que faltan.

ThriftServer Variable de entorno Spark

Spark establece la variable de entorno Hive Thrift Server Port, HIVE_SERVER2_THRIFT_PORT, en 10 001.

Cambio de la configuración predeterminada de Spark

Puede cambiar la configuración predeterminada en spark-defaults.conf utilizando la clasificación de configuración spark-defaults al crear el clúster o el ajuste maximizeResourceAllocation en la clasificación de configuración spark.

Los siguientes procedimientos muestran cómo modificar la configuración mediante la consola CLI o.

Migración de Apache Log4j 1.x a Log4j 2.x

Las versiones 3.2.x y anteriores de Apache Spark utilizan la versión heredada de Apache Log4j 1.x y el archivo log4j.properties para configurar Log4j en los procesos de Spark. Las versiones 3.3.0 y posteriores de Apache Spark utilizan Apache Log4j 2.x y el archivo log4j2.properties para configurar Log4j en los procesos de Spark.

Si ha configurado Apache Spark Log4j con una EMR versión de Amazon anterior a la 6.8.0, debe eliminar la clasificación de spark-log4j configuración antigua y migrar a la clasificación de spark-log4j2 configuración y al formato de clave antes de poder actualizar a Amazon EMR 6.8.0 o posterior. La spark-log4j clasificación antigua provoca un ValidationException error en la creación del clúster en las EMR versiones 6.8.0 y posteriores de Amazon. No se le cobrará nada en caso de un error relacionado con la incompatibilidad de Log4j, pero deberá eliminar la clasificación de configuración spark-log4j extinta para continuar.

Para obtener más información sobre la migración de Apache Log4j 1.x a Log4j 2.x, consulte Apache Log4j Migration Guide y Spark Log4j 2 Template en GitHub.