Versiones 7.0.0 de Amazon EMR en EKS - Amazon EMR
VersionesNotas de la versiónCaracterísticasCambios

Versiones 7.0.0 de Amazon EMR en EKS

Esta página describe la funcionalidad nueva y actualizada de Amazon EMR que es específica de la implementación de Amazon EMR en EKS. Para obtener más información sobre la ejecución de Amazon EMR en Amazon EC2 y sobre la versión 7.0.0 de Amazon EMR en general, consulte Amazon EMR 7.0.0 en la Guía de versiones de Amazon EMR.

Versiones 7.0 de Amazon EMR en EKS

Las siguientes versiones 7.0.0 de Amazon EMR están disponibles para Amazon EMR en EKS. Seleccione una versión específica de emr-7.0.0-XXXX para ver más detalles, como la etiqueta de imagen de contenedor relacionada.

Flink releases

Las siguientes versiones 7.0.0 de Amazon EMR están disponibles para Amazon EMR en EKS cuando ejecuta aplicaciones de Flink.

Spark releases

Las siguientes versiones 7.0.0 de Amazon EMR están disponibles para Amazon EMR en EKS cuando ejecuta aplicaciones de Spark.

  • emr-7.0.0-latest

  • emr-7.0.0-20231211

  • emr-7.0.0-spark-rapids-latest

  • emr-7.0.0-spark-rapids-20231211

  • emr-7.0.0-java11-latest

  • emr-7.0.0-java11-20231211

  • emr-7.0.0-java8-latest

  • emr-7.0.0-java8-20231211

  • emr-7.0.0-spark-rapids-java8-latest

  • emr-7.0.0-spark-rapids-java8-20231211

  • notebook-spark/emr-7.0.0-latest

  • notebook-spark/emr-7.0.0-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-latest

  • notebook-spark/emr-7.0.0-spark-rapids-20231211

  • notebook-spark/emr-7.0.0-java11-latest

  • notebook-spark/emr-7.0.0-java11-20231211

  • notebook-spark/emr-7.0.0-java8-latest

  • notebook-spark/emr-7.0.0-java8-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

  • notebook-python/emr-7.0.0-latest

  • notebook-python/emr-7.0.0-20231211

  • notebook-python/emr-7.0.0-spark-rapids-latest

  • notebook-python/emr-7.0.0-spark-rapids-20231211

  • notebook-python/emr-7.0.0-java11-latest

  • notebook-python/emr-7.0.0-java11-20231211

  • notebook-python/emr-7.0.0-java8-latest

  • notebook-python/emr-7.0.0-java8-20231211

  • notebook-python/emr-7.0.0-spark-rapids-java8-latest

  • notebook-python/emr-7.0.0-spark-rapids-java8-20231211

Notas de la versión

Notas de la versión de Amazon EMR en EKS 7.0.0

  • Aplicaciones compatibles: AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • Componentes compatibles: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Clasificaciones de configuración compatibles

    Para usar con las API StartJobRun y CreateManagedEndpoint:

    Clasificaciones Descripciones

    core-site

    Cambia los valores en el archivo de Hadoop core-site.xml.

    emrfs-site

    Cambiar la configuración de EMRFS.

    spark-metrics

    Cambia los valores en el archivo de Spark metrics.properties.

    spark-defaults

    Cambia los valores en el archivo de Spark spark-defaults.conf.

    spark-env

    Cambiar los valores en el entorno de Spark.

    spark-hive-site

    Cambia los valores en el archivo de Spark hive-site.xml.

    spark-log4j

    Cambia los valores en el archivo de Spark log4j2.properties.

    emr-job-submitter

    Configuración del pod de remitente de trabajos.

    Para usar específicamente con las API CreateManagedEndpoint:

    Clasificaciones Descripciones

    jeg-config

    Cambia los valores en el archivo jupyter_enterprise_gateway_config.py de Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Cambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.

    Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo, spark-hive-site.xml. Para obtener más información, consulte Configurar aplicaciones.

Características notables

Las siguientes características se incluyen en la versión 7.0 de Amazon EMR en EKS.

  • Actualizaciones de la aplicación: las actualizaciones de la aplicación de Amazon EMR en EKS 7.0.0 incluyen Spark 3.5, Flink 1.18 y Flink Operator 1.6.1.

  • Ajuste automático de los parámetros del escalador automático de Flink: es posible que los parámetros predeterminados que el escalador automático de Flink utiliza para sus cálculos de escalado no sean el valor óptimo para un trabajo determinado. Amazon EMR en EKS 7.0.0 utiliza las tendencias históricas de métricas capturadas específicas para calcular el parámetro óptimo adaptado al trabajo.

Cambios

Los siguientes cambios se incluyen en la versión 7.0 de Amazon EMR en EKS.

  • Amazon Linux 2023: a partir de la versión 7.0.0 de Amazon EMR en EKS, todas las imágenes de contenedores se basan en Amazon Linux 2023.

  • Spark utiliza Java 17 como tiempo de ejecución predeterminado: Amazon EMR en EKS 7.0.0 Spark utiliza Java 17 como tiempo de ejecución predeterminado. Si lo necesita, puede cambiar a Java 8 o Java 11 con la etiqueta de versión correspondiente, tal y como se indica en la lista Versiones 7.0 de Amazon EMR en EKS.