Amazon EMR on EKS 6.11.0 版本
本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EC2 上运行的 Amazon EMR 以及 Amazon EMR 6.11.0 版本的总体详情，请参阅《Amazon EMR Release Guide》中的 Amazon EMR 6.11.0。
Amazon EMR on EKS 6.11 版本
以下 Amazon EMR 6.11.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.11.0-XXXX 版本以查看更多详细信息，例如相关的容器映像标签。
-
emr-6.11.0-spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
发布说明
Amazon EMR on EKS 6.11.0 的发布说明
-
支持的应用程序 – AWS SDK for Java 1.12.446、Apache Spark 3.3.2-amzn-0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Delta 2.2.0、Apache Spark RAPIDS 23.02.0-amzn-0、Jupyter Enterprise Gateway 2.6.0
-
支持的组件 –
aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
支持的配置分类
与 StartJobRun 和 CreateManagedEndpoint API 结合使用：
分类 描述 core-site更改
core-site.xmlHadoop 文件中的值。emrfs-site更改 EMRFS 设置。
spark-metrics更改
metrics.propertiesSpark 文件中的值。spark-defaults更改
spark-defaults.confSpark 文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改
hive-site.xmlSpark 文件中的值。spark-log4j更改
log4j.propertiesSpark 文件中的值。专门用于 CreateManagedEndpoint API：
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如
spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。
显著功能
Amazon EMR on EKS 的 6.11 版中包含以下功能。
-
Amazon ECR Public Gallery 中的 Amazon EMR on EKS 基础映像 – 如果您使用自定义映像功能，我们的基础映像将提供与 Amazon EMR on EKS 交互所需的必要 jar、配置和库。现在，您可以在 Amazon ECR Public Gallery
中找到基础映像。 -
Spark 容器日志轮换 – Amazon EMR on EKS 6.11 支持 Spark 容器日志轮换。您可以在
StartJobRunAPI 的MonitoringConfiguration操作中使用containerLogRotationConfiguration启用该功能。您可以配置rotationSize和maxFilestoKeep来指定您希望 Amazon EMR on EKS 在 Spark 驱动程序和执行器 Pod 中保留的日志文件的数量和大小。有关更多信息，请参阅 使用 Spark 容器日志轮换。 -
Spark 运算符和 Spark-submit 中的 Volcano 支持 – Amazon EMR on EKS 6.11 支持使用 Volcano 作为 Spark 运算符和 spark-submit 中的 Kubernetes 自定义调度程序来运行 Spark 任务。您可以使用分组调度、队列管理、抢占和公平分享调度等功能来实现高调度吞吐量和优化容量。有关更多信息，请参阅 在 Amazon EMR on EKS 上将 Volcano 用作 Apache Spark 自定义调度器。
