EKS 上的 Amazon EMR 7.0.0 发行版 - Amazon EMR
发行版发布说明功能更改

EKS 上的 Amazon EMR 7.0.0 发行版

本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EC2 上运行的 Amazon EMR 以及 Amazon EMR 7.0.0 发行版的一般详细信息，请参阅《Amazon EMR 发行版指南》中的 Amazon EMR 7.0.0。

EKS 上的 Amazon EMR 7.0 发行版

以下 Amazon EMR 7.0.0 发行版适用于 EKS 上的 Amazon EMR。选择特定的 emr-7.0.0-XXXX 发行版以查看更多详细信息，例如相关的容器映像标签。

Flink releases

在您运行 Flink 应用程序时，以下 Amazon EMR 7.0.0 发行版适用于 EKS 上的 Amazon EMR。

Spark releases

在您运行 Spark 应用程序时，以下 Amazon EMR 7.0.0 发行版适用于 EKS 上的 Amazon EMR。

  • emr-7.0.0-latest

  • emr-7.0.0-20231211

  • emr-7.0.0-spark-rapids-latest

  • emr-7.0.0-spark-rapids-20231211

  • emr-7.0.0-java11-latest

  • emr-7.0.0-java11-20231211

  • emr-7.0.0-java8-latest

  • emr-7.0.0-java8-20231211

  • emr-7.0.0-spark-rapids-java8-latest

  • emr-7.0.0-spark-rapids-java8-20231211

  • notebook-spark/emr-7.0.0-latest

  • notebook-spark/emr-7.0.0-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-latest

  • notebook-spark/emr-7.0.0-spark-rapids-20231211

  • notebook-spark/emr-7.0.0-java11-latest

  • notebook-spark/emr-7.0.0-java11-20231211

  • notebook-spark/emr-7.0.0-java8-latest

  • notebook-spark/emr-7.0.0-java8-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

  • notebook-python/emr-7.0.0-latest

  • notebook-python/emr-7.0.0-20231211

  • notebook-python/emr-7.0.0-spark-rapids-latest

  • notebook-python/emr-7.0.0-spark-rapids-20231211

  • notebook-python/emr-7.0.0-java11-latest

  • notebook-python/emr-7.0.0-java11-20231211

  • notebook-python/emr-7.0.0-java8-latest

  • notebook-python/emr-7.0.0-java8-20231211

  • notebook-python/emr-7.0.0-spark-rapids-java8-latest

  • notebook-python/emr-7.0.0-spark-rapids-java8-20231211

发布说明

EKS 上的 Amazon EMR 7.0.0 的发布说明

  • 支持的应用程序 ‐ AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • 支持的组件 – aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支持的配置分类

    与 StartJobRun 和 CreateManagedEndpoint API 结合使用：

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于 CreateManagedEndpoint API：

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。

显著功能

EKS 上的 Amazon EMR 发行版 7.0 中包含以下功能。

  • 应用程序升级 – EKS 上的 Amazon EMR 7.0.0 应用程序升级包括 Spark 3.5、Flink 1.18 和 Flink Operator 1.6.1。

  • Flink Autoscaler 参数自动调整 – Flink Autoscaler 用于扩展计算的默认参数可能不是给定作业的最佳值。EKS 上的 Amazon EMR 7.0.0 使用捕获的特定指标的历史趋势来计算为作业量身定制的最佳参数。

更改

EKS 上的 Amazon EMR 发行版 7.0 中包含以下更改。

  • Amazon Linux 2023 – 使用 EKS 上的 Amazon EMR 7.0.0 及更高版本，所有容器映像都基于 Amazon Linux 2023。

  • Spark 使用 Java 17 作为默认运行时系统 – EKS 上的 Amazon EMR 7.0.0 Spark 使用 Java 17 作为默认运行时系统。如果需要，可以切换到使用具有 EKS 上的 Amazon EMR 7.0 发行版 列表中提供的相应版本标签的 Java 8 或 Java 11。