新增功能 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

新增功能

本页介绍最新版本的 Amazon EMR 7.x、6.x 和 5.x 中提供的更改和功能。

这些发行说明也可在亚马逊 EMR 7.2.0、亚马逊 EMR 6.15.0 和 A mazon EMR 5.36.2 页面上找到,以及每个版本的应用程序版本、组件版本和可用配置分类。

注意

后续版本的 Amazon EMR 使用 AWS 签名版本 4 (SigV4) 对发给 Amazon S3 的请求进行身份验证。我们建议您使用支持的 Amazon EMR 版本 SigV4 这样您就可以访问新的 S3 存储桶并避免工作负载中断。如需了解更多信息以及支持的 Amazon EMR 版本列表 SigV4,请参阅 亚马逊EMR和 AWS Signature Version 4

亚马逊 EMR 7.2.0(7.x 系列的最新版本)

Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。

以下发行说明包含有关亚马逊 7.2.0 EMR 版本的信息。更改与 7.2.0 有关。

新功能
  • 应用程序升级 — Amazon EMR 7.2.0 application upgrades include Iceberg 1.5.0-amzn-0 and Delta 3.1.0.

  • 亚马逊EMR增加了支持,因此您可以将其他应用程序(例如 Flink 和 Hive)与 HBase Amazon S3 Express One Zone 存储类一起使用。

  • 此版本增加了读取已恢复对象的功能,因此您可以使用S3A协议从 S3 位置读取 Glacier 对象。此功能适用于 Spark、Flink 和 Hive。

  • 具有托管扩展功能的节点标签-根据市场类型或节点类型在实例上使用节点标签,以改进 Amazon 的自动扩展EMR。有关更多信息,请参阅在 Amazon 中使用托管扩展EMR

已知问题
  • EMRStudio 不支持 Python 3.11。

更改、增强功能和解决的问题
  • 此版本修复了内部步骤清理操作期间可能出现的死锁问题。当步骤在EMR集群上完成时,此操作会管理这些步骤的生命周期。此问题会影响关键的 Amazon EMR 操作,例如分步操作和扩展。

  • 此版本解决了具有某些预先存在的日志文件的自定义AMIs集群可能导致 Amazon EMR 日志管理守护程序失败的问题。

  • Amazon EMR 7.2.0 升级了负责集群管理和监控活动的亚马逊EMR守护程序 AWS SDKv1 到 v2。

  • 当您启动带有最新补丁版本(亚马逊 EMR 5.36 或更高版本、6.6 或更高版本、7.0 或更高版本)的集群时,亚马逊将EMR使用最新的亚马逊 Linux 2023 或亚马逊 Linux 2 版本作为默认亚马逊 Linux 2 版本。EMR AMI有关更多信息,请参阅使用亚马逊的默认 Amazon Linux AMI EMR

    OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域
    2023.5.20240819.0 6.1.102-111.182.amzn2023 2024 年 8 月 20 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、亚太地区(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
    2023.5.20240730.0 6.1.97-104.177.amzn2023 2024年8月2日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、亚太地区(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
    2023.5.20240722.0 6.1.97-104.177.amzn2023 2024 年 7 月 24 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、亚太地区(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
    2023.5.20240708.0 6.1.96-102.177.amzn2023 2024年7月8日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、加拿大西部(卡尔加里)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)

亚马逊 EMR 6.15.0(6.x 系列的最新版本)

Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。

以下发行说明包含 Amazon 6.15. EMR 0 版本的信息。更改与 6.14.0 有关。有关发布时间表的更多信息,请参阅 6.15.0 更改日志

新功能
  • 应用程序升级 — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.

  • 在@@ EMR集群上运行的启动速度更快 EC2 — 现在,在集EC2群上启动 Amaz EMR on 的速度最多可提高 35%。通过这一改进,大多数客户可以在 5 分钟或更短时间内启动集群。

  • CodeWhisperer 适用于 EMR Studio — 现在,你可以将亚马逊 CodeWhisperer 与 Amazon EMR Studio 配合使用,在编写代码时获得实时推荐 JupyterLab。 CodeWhisperer 可以完成您的注释、完成单行代码、提出 line-by-line 建议并生成完整格式的函数。

  • 使用 Flink 可以缩短任务重启时间 — 在 Amazon EMR 6.15.0 及更高版本中,Apache Flink 可以使用多种新机制来缩短任务恢复或扩展操作期间的任务重启时间。这样可以优化执行图的恢复和重启速度,从而提高作业稳定性。

  • 开放表格式的表级和细粒度访问控制 — 在 Amazon EMR 6.15.0 及更高版本中,当您在访问数据的 Ama EMR zon 集群上运行 Spark 作业时 EC2 AWS Glue 数据目录,你可以使用 AWS Lake Formation 对基于 Hudi、Iceberg 或 Delta Lake 的表应用表、行、列和单元格级别的权限。

  • Hadoop 升级 — 亚马逊 EMR 6.15.0 包括 Apache Hadoop 升级到 3.3.6 版。Hadoop 3.3.6是部署亚马逊 EMR 6.15时的最新版本,由Apache于2023年6月发布。亚马逊之前发布的版本EMR(6.9.0 至 6.14.x)使用了 Hadoop 3.3.3。

    此次升级包括数百项改进和修复,其功能包括可重新配置的数据节点参数、在所有实时数据节点上启动批量重新配置操作的DFSAdmin选项,以及允许大量搜索的读者指定多个读取范围API的向量。Hadoop 3.3.6 还增加了对其预写日志 (WAL) 的支持HDFSAPIs和语义,因此HBase可以在其他存储系统实现上运行。有关更多信息,请参阅 Apache Hadoop 文档中的 3.3.43.3.53.3.6 版本的变更日志。

  • Support AWS SDK对于 Java,版本 2 -亚马逊 EMR 6.15.0 应用程序可以使用 AWS SDK适用于 Java 版本 1.12.5692.20.160(如果应用程序支持 v2)。这些区域有: AWS SDK适用于 Java 2.x 是对 1.x 版本代码库的重大重写。它基于 Java 8+ 构建,并增加了几个请求次数较多的功能。其中包括对非阻塞 I/O 的支持,以及在运行时插入其他HTTP实现的能力。有关更多信息,包括从 Java v1 到 v2 SDK 的迁移指南,请参AWS SDK对于 Java,第 2 版指南。

更改、增强功能和解决的问题
  • 为了提高您的高可用性EMR集群,此版本允许连接到本地主机上使用的 Amazon EMR 守护程序 IPv6 端点。

  • 此版本启用 TLS 1.2,以便在高可用性 ZooKeeper 集群的所有主节点上与预配置进行通信。

  • 此版本改进了对主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件越界增长并中断集群操作的情况。

  • 此版本使高可用EMR性集群的节点内通信更具弹性。此改进减小了引导操作失败或集群启动失败的几率。

  • Amazon EMR 6.15.0 中的 Tez 引入了配置,您可以指定这些配置来异步打开 Tez 分组拆分中的输入拆分。当单个 Tez 分组拆分中有大量输入拆分时,这样可以提高读取查询的性能。有关更多信息,请参阅 Tez 异步拆分打开

  • 当您启动带有最新补丁版本(亚马逊 EMR 5.36 或更高版本、6.6 或更高版本、7.0 或更高版本)的集群时,亚马逊将EMR使用最新的亚马逊 Linux 2023 或亚马逊 Linux 2 版本作为默认亚马逊 Linux 2 版本。EMR AMI有关更多信息,请参阅使用亚马逊的默认 Amazon Linux AMI EMR

    OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域
    2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240719.0 4.14.348 2024 年 7 月 25 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240709.1 4.14.348 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、亚太地区(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
    2.0.20240223.0 4.14.336 2024 年 3 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里)
    2.0.20240131.0 4.14.336 2024年2月14日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里)
    2.0.20240124.0 4.14.336 2024 年 2 月 7 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里)
    2.0.20240109.0 4.14.334 2024 年 1 月 24 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里)
    2.0.20231218.0 4.14.330 2024 年 1 月 2 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20231206.0 4.14.330 2023 年 12 月 22 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20231116.0 4.14.328 2023 年 12 月 11 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20231101.0 4.14.327 2023 年 11 月 13 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(东京)、亚太地区(首尔))、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东()、中东(UAE)、加拿大(中部)、以色列(特拉维夫)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)

亚马逊 EMR 5.36.2(5.x 系列的最新版本)

Amazon 的新EMR版本将在几天内在不同地区上市,从最初发布日期的第一个地区开始。在此期间,您所在区域可能无法提供最新发行版。

以下发行说明包含 Amazon EMR 版本 5.36.2 的信息。变化是相对于 5.36.1 的。有关发布时间表的信息,请参阅更改日志

更改、增强功能和解决的问题
  • 此版本改进了集群缩容逻辑,因此 Amazon EMR 不会将核心节点缩小到低于集群的HDFS重复因子设置。这一改进满足了数据冗余要求,并降低了扩展操作可能停滞的机会。

  • 此版本为运行 Presto 或 Trino 的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群调整无限期运行的风险。它还可以提高集群利用率,因为您的集群可以更快地向上和向下扩展。

  • 修复了以下问题:当 Amazon EMR 优雅地停用核心节点时,集群缩容操作可能会停滞不前,核心节点在完全停用之前就会变为运行不正常。

  • 当 Amazon EMR 重启单个节点时,可提高具有多个主节点的高可用性集群中节点的稳定性。

  • 通过 Amazon 在亚马逊EC2上EMR运行,优化日志管理。因此,您可能会看到集群日志的存储成本略有降低。

  • 改进了对主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件越界增长并中断集群操作的情况。

  • 修复了一个罕见的错误,该错误可能导致具有多个主节点的高可用性集群因无法与 Yarn ResourceManager 通信而发生故障。

  • 当您启动带有最新补丁版本(亚马逊 EMR 5.36 或更高版本、6.6 或更高版本、7.0 或更高版本)的集群时,亚马逊将EMR使用最新的亚马逊 Linux 2023 或亚马逊 Linux 2 版本作为默认亚马逊 Linux 2 版本。EMR AMI有关更多信息,请参阅使用亚马逊的默认 Amazon Linux AMI EMR

    OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域
    2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240719.0 4.14.348 2024 年 7 月 25 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)
    2.0.20240709.1 4.14.348 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)、亚太地区(海得拉巴)、中东(UAE)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)
    2.0.20240503.0 4.14.343 xxxxxx,2024 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(新加坡)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、 AWS GovCloud (美国西部), AWS GovCloud (美国东部)、中国(北京)、中国(宁夏)

亚马逊EMR和 AWS Signature Version 4

亚马逊EMR发布使用 AWS 签名版本 4 (SigV4) 对发给 Amazon S3 的请求进行身份验证。2020 年 6 月 24 日之后在 Amazon S3 中创建的存储桶不支持由签名版本 2(SigV2)签名的请求。2020 年 6 月 24 日或之前创建的存储桶将继续支持 SigV2。我们建议您迁移到支持以下内容的 Amazon EMR 版本 SigV4 这样您就可以访问新的 S3 存储桶并避免工作负载中断。

如果您使用亚马逊附带的应用程序,EMR例如 Apache Spark、Apache Hive 和 Presto,则无需更改应用程序代码即可使用 SigV4 。 如果您使用的自定义应用程序未包含在 Amazon 中EMR,则可能需要更新代码才能使用 SigV4。 有关更多信息,请参阅 Amazon S3 用户指南中的从签名版本 2 迁移到签名版本 4

以下 Amazon EMR 发布了支持 SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher。 所有 6.x 和 7.x 版本都支持 SigV4.