Amazon EMR on EKS 6.7.0 版本 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR on EKS 6.7.0 版本

以下 Amazon EMR 6.7.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.7.0-XXXX 版本以查看更多详细信息，例如相关的容器映像标签。

Amazon EMR 6.7.0 的发布说明

  • 受支持的应用程序 ‐ Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。

  • 受支持的组件 – aws-hm-client（Glue 连接器）、aws-sagemaker-spark-sdk、emr-s3-select、emrfs、emr-ddb、hudi-spark。

  • 升级到 JEG 2.6 后，内核管理现在是异步的，这意味着 JEG 不会在内核启动过程中阻塞事务。这通过提供以下功能极大地改善了用户体验：

    • 在其他内核启动过程中在当前运行的 Notebook 中执行命令的功能

    • 同时启动多个内核而不会影响已在运行的内核的功能

  • 受支持的配置分类：

    分类 描述

    core-site

    更改 Hadoop core-site.xml 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 Spark metrics.properties 文件中的值。

    spark-defaults

    更改 Spark spark-defaults.conf 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 Spark hive-site.xml 文件中的值。

    spark-log4j

    更改 Spark log4j.properties 文件中的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。

已解决的问题

  • Amazon EMR on EKS 6.7 修复了 6.6 中将 Apache Spark 的 Pod 模板功能与交互式端点结合使用时的问题。Amazon EMR on EKS 版本 6.4、6.5 和 6.6 中存在此问题。现在，您可以使用 Pod 模板来定义使用交互式端点来运行交互式分析时，Spark 驱动程序和执行程序 Pod 的启动方式。

  • 在之前的 Amazon EMR on EKS 版本中，Jupyter Enterprise Gateway 会在内核启动过程中阻止事务，这阻碍了当前正在运行的 Notebook 会话的执行。您现在可以在其他内核启动过程中在当前运行的 Notebook 中执行命令。您还可以同时启动多个内核，而不会丢失与已在运行的内核的连接。