Versiones de Amazon EMR en EKS 6.7.0 - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Versiones de Amazon EMR en EKS 6.7.0

Las siguientes versiones de Amazon EMR 6.7.0 están disponibles para Amazon EMR en EKS. Seleccione una versión específica de emr-6.7.0-XXXX para ver más detalles, como la etiqueta de imagen de contenedor relacionada.

Notas de la versión de Amazon EMR 6.7.0

  • Aplicaciones compatibles: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Componentes compatibles: aws-hm-client (conector de Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Con la actualización a JEG 2.6, la administración del kernel ahora es asíncrona, lo que significa que JEG no bloquea las transacciones cuando se está lanzando el kernel. Esto mejora considerablemente la experiencia del usuario al proporcionar lo siguiente:

    • capacidad de ejecutar comandos en los cuadernos que ya se estén ejecutando cuando se estén ejecutando otros lanzamientos del kernel

    • capacidad de lanzar varios kernels de manera simultánea sin afectar a los kernels que ya se están ejecutando

  • Clasificaciones de configuración compatibles:

    Clasificaciones Descripciones

    core-site

    Cambia los valores en el archivo core-site.xml de Hadoop.

    emrfs-site

    Cambiar la configuración de EMRFS.

    spark-metrics

    Cambia los valores en el archivo metrics.properties de Spark.

    spark-defaults

    Cambia los valores en el archivo spark-defaults.conf de Spark.

    spark-env

    Cambiar los valores en el entorno de Spark.

    spark-hive-site

    Cambia los valores en el archivo hive-site.xml de Spark.

    spark-log4j

    Cambia los valores en el archivo log4j.properties de Spark.

    Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo, spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.

Problemas resueltos

  • Amazon EMR en EKS 6.7 corrige un problema en la versión 6.6 al utilizar la funcionalidad de plantillas de pods de Apache Spark con puntos de conexión interactivos. El problema estaba presente en las versiones 6.4, 6.5 y 6.6 de Amazon EMR en EKS. Ahora puede usar plantillas de pods para definir cómo se inician sus pods controladores y ejecutores de Spark cuando utiliza puntos de conexión interactivos para ejecutar análisis interactivos.

  • En versiones anteriores de Amazon EMR en EKS, Jupyter Enterprise Gateway bloqueaba las transacciones cuando el lanzamiento del kernel estaba en curso, lo que impedía la ejecución de las sesiones de cuaderno que se estaban ejecutando. Ahora puede ejecutar comandos en los cuadernos que estén en ejecución cuando se estén lanzando otros kernels. También puede lanzar varios kernels simultáneamente sin correr el riesgo de perder la conectividad con los kernels que ya se estén ejecutando.