Amazon EMR 发行版 5.31.0

• Amazon EMR 7.x 发行版中的应用程序版本

• Amazon EMR 6.x 发行版中的应用程序版本

• Amazon EMR 5.x 发行版中的应用程序版本

• Amazon EMR 4.x 发行版中的应用程序版本

升级

• 已将 Amazon Glue 连接器升级到版本 1.13.0

• 已将 Amazon SageMaker Spark SDK 升级到 1.4.0 版

• 已将 Amazon Kinesis 连接器升级到版本 3.5.9

• 已升级 AWS SDK for Java 到 1.11.852 版本

• 已将 Bigtop-tomcat 升级到版本 8.5.56

• 已将 EMR FS 升级到版本 2.43.0

• 已将 EMR MetricsAndEventsApiGateway 客户端升级到 1.4.0 版

• 已将 EMR S3 Dist CP 升级到版本 2.15.0

• 已将 EMR S3 Select 升级到版本 1.6.0

• 已将 Flink 升级到版本 1.11.0

• 已将 Hadoop 升级到版本 2.10.0

• 已将 Hive 升级到版本 2.3.7

• 已将 Hudi 升级到版本 0.6.0

• 已将 Hue 升级到版本 4.7.1

• 已升级 JupyterHub 到 1.1.0 版

• 已将 Mxnet 升级到版本 1.6.0

• 已将 OpenCV 升级到版本 4.3.0

• 已将 Presto 升级到版本 0.238.3

• 已升级 TensorFlow 到 2.1.0 版

更改、增强功能和解决的问题

• 此版本旨在修复 Amazon EMR Scaling 无法成功纵向扩展/缩减集群或导致应用程序故障时出现的问题。

• 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。

• 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。

• SPARK-29683。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。

• YARN-9011。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。

• 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。

• 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群上的进程守护程序没有续订 Kerberos 票证，而该票证是与主节点上运行的 HDFS/YARN 进行安全通信所必需的。

• 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。

• Amazon EMR 5.31.0 及更高版本支持 Hive 列统计信息。

• 升级了组件版本。

• Amazon EMR 5.31.0 支持 EMRFS S3EC V2。在 S3 Java SDK 1.11.837 及更高版本中，引入了加密客户端版本 2（S3EC V2），并新增了各种安全增强功能。有关更多信息，请参阅下列内容：

  • S3 博客文章：更新至 Amazon S3 加密客户端。

  • AWS SDK for Java 开发者指南：将加密和解密客户端迁移到 V2。

  • EMR 管理指南：Amazon S3 客户端加密。

  为保持向后兼容性，加密客户端 V1 在 SDK 中仍可用。

新特征

• 降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

  从命令行显式设置 ulimit

  1. 编辑 /etc/systemd/system/instance-controller.service，将以下参数添加到 Service (服务) 部分。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重启 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引导操作 (BA) 设置 ulimit

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 借助 Amazon EMR 5.31.0，您可以启动与 Lake Formation 集成的集群。这种集成为 Glue 数据目录中的数据库和表提供了精细的列级数据筛选。 AWS 它还支持从企业身份系统通过联合单点登录的方式登录 EMR Notebooks 或 Apache Zeppelin。有关更多信息，请参阅《Amazon EMR 管理指南》中的 将 Amazon EMR 与 AWS Lake Formation集成。

  带有 Lake Formation 的 Amazon EMR 目前已在 16 个 AWS 地区推出：美国东部（俄亥俄州和弗吉尼亚北部）、美国西部（加利福尼亚北部和俄勒冈州）、亚太地区（孟买、首尔、新加坡、悉尼和东京）、加拿大（中部）、欧洲（法兰克福、爱尔兰、伦敦、巴黎和斯德哥尔摩）、南美洲（圣保罗）。

已知问题

• 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：

  • 以 hadoop 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。

  • 运行以下命令，为 hadoop 用户续订 Kerberos 票证。

    kinit -kt <keytab_file> <principal>

    通常情况下，keytab 文件位于 /etc/hadoop.keytab，而 principal 为 hadoop/<hostname>@<REALM> 格式。

  注意

  此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

• 在使用 Amazon EMR 5.31.0 AtRestEncryption 或 5.32.0 的集群上启用或 HDFS 加密时，Hive 查询会导致以下运行时异常。

  TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

• 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：

  • 从同一个表扫描两个或多个分区。

  • 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的前缀。

  • 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 / 字符 (U+002F)。例如，在 s3://bucket/table/p=a b 中，a 和 b 之间出现的空格字符 (U+0020) 就属于此类。请注意，还有其他 14 个非控制字符：!"#$%&‘()*+,-。有关更多信息，请参阅 UTF-8 encoding table and Unicode characters（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 spark-defaults 分类中将 spark.sql.sources.fastS3PartitionDiscovery.enabled 配置设置为 false。