亚马逊EMR版本 5.9.0 - Amazon EMR
5.9.0 应用程序版本5.9.0 发布说明5.9.0 组件版本5.9.0 配置分类

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊EMR版本 5.9.0

5.9.0 应用程序版本

此版本支持以下应用程序：Flink, Ganglia, HBase, HCatalog, Hadoop, Hive, Hue, Livy, Mahout, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, Tez, Zeppelin 和 ZooKeeper.

下表列出了此版本的 Amazon 中可用的应用程序版本EMR和前三个亚马逊版本中的应用程序EMR版本（如果适用）。

要全面了解每个 Amazon 版本的应用程序版本历史记录EMR，请参阅以下主题：

应用程序版本信息
emr-5.9.0 emr-5.8.3 emr-5.8.2 emr-5.8.1
适用于 Java 的AWS SDK 1.11.1831.11.1601.11.1601.11.160
Python 未跟踪未跟踪未跟踪未跟踪
Scala 2.11.82.11.82.11.82.11.8
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.3.21.3.11.3.11.3.1
Ganglia3.7.23.7.23.7.23.7.2
HBase1.3.11.3.11.3.11.3.1
HCatalog2.3.02.3.02.3.02.3.0
Hadoop2.7.32.7.32.7.32.7.3
Hive2.3.02.3.02.3.02.3.0
Hudi - - - -
Hue4.0.13.12.03.12.03.12.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy0.4.0 - - -
MXNet - - - -
Mahout0.13.00.13.00.13.00.13.0
Oozie4.3.04.3.04.3.04.3.0
Phoenix4.11.04.11.04.11.04.11.0
Pig0.17.00.16.00.16.00.16.0
Presto0.1840.1700.1700.170
Spark2.2.02.2.02.2.02.2.0
Sqoop1.4.61.4.61.4.61.4.6
TensorFlow - - - -
Tez0.8.40.8.40.8.40.8.4
Trino（Prest SQL o） - - - -
Zeppelin0.7.20.7.20.7.20.7.2
ZooKeeper3.4.103.4.103.4.103.4.10

5.9.0 发布说明

以下发行说明包含 Amazon 5.9.0 EMR 版本的信息。更改与 Amazon EMR 5.8.0 版本有关。

发布日期：2017 年 10 月 5 日

最近功能更新时间：2017 年 10 月 12 日

升级

  • AWS SDK for Java 版本 1.11.183

  • Flink 1.3.2

  • Hue 4.0.1

  • Pig 0.17.0

  • Presto 0.184

新特征

  • 添加了 Livy 支持 (0.4.0-incubating 版)。有关更多信息，请参阅Apache Livy。

  • 添加了对 Hue Notebook for Spark 的支持。

  • 增加了对 i3 系列亚马逊EC2实例的支持（2017 年 10 月 12 日）。

更改、增强功能和解决的问题

  • Spark

    • 添加了一组新功能，有助于确保 Spark 能够更为正常地处理因手动调整大小或自动扩展策略请求导致的节点终止。有关更多信息，请参阅 配置节点停用行为。

    • SSL用于区块传输服务的传输中加密，而不是 3DES，当使用带 AES-NI 的 Amazon EC2 实例类型时，这可以提高性能。

    • 向后移植 SPARK-21494。

  • Zeppelin

  • HBase

    • 添加了 HBASE-18533 补丁，它允许使用HBase BucketCache 配置分类进行更多配置值。hbase-site

  • Hue

    • 为 H AWS ue 中的 Hive 查询编辑器添加了 Glue 数据目录支持。

    • 默认情况下，Hue 中的超级用户可以访问允许 Amazon EMR IAM 角色访问的所有文件。新建用户不会自动拥有对 Amazon S3 filebrowser 的访问权限，并且必须为其组启用 filebrowser.s3_access 权限。

  • 解决了导致无法访问使用 AWS Glue 数据目录创建的底层JSON数据的问题。

已知问题

  • 当所有应用程序都安装完毕并且默认的 Amazon EBS 根卷大小未更改时，集群启动将失败。解决方法是，使用中的aws emr create-cluster命令 AWS CLI 并指定更大的--ebs-root-volume-size参数。

  • 默认情况下，Hive 2.3.0 设置 hive.compute.query.using.stats=true。这会导致查询从现有统计数据而不是直接从数据中获取数据，这可能会造成混淆。例如，如果您有一个包含 hive.compute.query.using.stats=true 的表并且将新文件上载到表 LOCATION，则在该表上运行 SELECT COUNT(*) 查询会返回来自统计数据的计数，而不是选择已添加的行。

    作为解决方法，请使用 ANALYZE TABLE 命令收集新的统计数据，或者设置 hive.compute.query.using.stats=false。有关更多信息，请参阅 Apache Hive 文档中的 Hive 中的统计数据。

5.9.0 组件版本

下面列出了 Amazon 随此版本EMR安装的组件。一些组件作为大数据应用程序包的一部分安装。其他则是 Amazon 独有的EMR，是为系统流程和功能而安装的。它们通常以 emr 或 aws 开头。Amazon 最新EMR版本中的大数据应用程序包通常是社区中的最新版本。我们会EMR尽快在 Amazon 上发布社区版本。

Amazon 中的某些组件与社区版本EMR不同。这些组件具有以下形式的 CommunityVersion-amzn-EmrVersion 的发行版标注。EmrVersion 从 0 开始。例如，如果myapp-component以 2.2 版本命名的开源社区组件经过三次修改以包含在不同的 Amazon EMR 版本中，则其发布版本将列为2.2-amzn-2。

组件 版本 描述
emr-ddb4.4.0适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。
emr-goodies2.4.0适用于 Hadoop 生态系统的方便易用的库。
emr-kinesis3.4.0适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。
emr-s3-dist-cp2.7.0针对 Amazon S3 优化的分布式复制应用程序。
emrfs2.19.0适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。
flink-client1.3.2Apache Flink 命令行客户端脚本和应用程序。
ganglia-monitor3.7.2适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。
ganglia-metadata-collector3.7.2用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。
ganglia-web3.7.1用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。
hadoop-client2.7.3-amzn-4Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。
hadoop-hdfs-datanode2.7.3-amzn-4HDFS用于存储区块的节点级服务。
hadoop-hdfs-library2.7.3-amzn-4HDFS命令行客户端和库
hadoop-hdfs-namenode2.7.3-amzn-4HDFS用于跟踪文件名和区块位置的服务。
hadoop-httpfs-server2.7.3-amzn-4HTTPHDFS操作端点。
hadoop-kms-server2.7.3-amzn-4基于 Hadoop 的加密密钥管理服务器。 KeyProvider API
hadoop-mapred2.7.3-amzn-4MapReduce 用于运行 MapReduce 应用程序的执行引擎库。
hadoop-yarn-nodemanager2.7.3-amzn-4YARN用于管理单个节点上的容器的服务。
hadoop-yarn-resourcemanager2.7.3-amzn-4YARN用于分配和管理群集资源和分布式应用程序的服务。
hadoop-yarn-timeline-server2.7.3-amzn-4用于检索YARN应用程序的当前和历史信息的服务。
hbase-hmaster1.3.1为负责协调区域和执行管理命令的HBase集群提供服务。
hbase-region-server1.3.1为一个或多个HBase地区提供服务的服务。
hbase-client1.3.1HBase命令行客户端。
hbase-rest-server1.3.1为其提供RESTfulHTTP终端节点的服务HBase。
hbase-thrift-server1.3.1为其提供 Thrift 端点的HBase服务。
hcatalog-client2.3.0-amzn-0用于操作 hcatalog-server 的“hcat”命令行客户端。
hcatalog-server2.3.0-amzn-0提供服务HCatalog，为分布式应用程序提供表和存储管理层。
hcatalog-webhcat-server2.3.0-amzn-0HTTP端点为其提供REST接口HCatalog。
hive-client2.3.0-amzn-0Hive 命令行客户端。
hive-hbase2.3.0-amzn-0Hive-hbase 客户端。
hive-metastore-server2.3.0-amzn-0用于访问 Hive 元数据仓的服务，Hive 元存储库是一个语义存储库，用于存储 Hadoop 操作的SQL元数据。
hive-server22.3.0-amzn-0用于将 Hive 查询作为 Web 请求接受的服务。
hue-server4.0.1用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序
livy-server0.4.0-incubatingREST用于与 Apache Spark 交互的接口
mahout-client0.13.0用于机器学习的库。
mysql-server5.5.54+我的SQL数据库服务器。
oozie-client4.3.0Oozie 命令行客户端。
oozie-server4.3.0用于接受 Oozie 工作流请求的服务。
phoenix-library4.11.0--1.3 HBase服务器和客户端的 phoenix 库
phoenix-query-server4.11.0--1.3 HBase一款轻量级服务器，提供JDBC对 Avatica 的访问权限以及协议缓冲区和JSON格式访问权限 API
presto-coordinator0.184用于在 presto-worker 之中接受查询并管理查询的服务。
presto-worker0.184用于执行查询的各个部分的服务。
pig-client0.17.0Pig 命令行客户端。
spark-client2.2.0Spark 命令行客户端。
spark-history-server2.2.0用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。
spark-on-yarn2.2.0的内存中执行引擎。YARN
spark-yarn-slave2.2.0YARN从属服务器需要的 Apache Spark 库。
sqoop-client1.4.6Apache Sqoop 命令行客户端。
tez-on-yarn0.8.4tez YARN 应用程序和库。
webserver2.4.25+Apache HTTP 服务器。
zeppelin-server0.7.2支持交互式数据分析的基于 Web 的 Notebook。
zookeeper-server3.4.10用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。
zookeeper-client3.4.10ZooKeeper 命令行客户端。

5.9.0 配置分类

配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件，例如hive-site.xml。有关更多信息，请参阅 配置应用程序。

emr-5.9.0 分类
分类 描述

capacity-scheduler

更改 Hadoop 的 capacity-scheduler.xml 文件中的值。

core-site

更改 Hadoop 的 core-site.xml 文件中的值。

emrfs-site

更改EMRFS设置。

flink-conf

更改 flink-conf.yaml 设置。

flink-log4j

更改 Flink log4j.properties 设置。

flink-log4j-yarn-session

更改 Flink log4 j-yarn-session .properties 设置。

flink-log4j-cli

更改 Flink log4j-cli.properties 设置。

hadoop-env

更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。

hadoop-log4j

更改 Hadoop 的 log4j.properties 文件中的值。

hadoop-ssl-server

更改 hadoop ssl 服务器配置

hadoop-ssl-client

更改 hadoop ssl 客户端配置

hbase

亚马逊EMR精心策划的 Apache 设置。HBase

hbase-env

更改环境HBase中的值。

hbase-log4j

更改 hbase-HBase log4j.properties 文件中的值。

hbase-metrics

更改 hadoop-metrics2-h HBase base.properties 文件中的值。

hbase-policy

更改 hbase-policy.xml 文件HBase中的值。

hbase-site

更改HBase的 hbase-site.xml 文件中的值。

hdfs-encryption-zones

配置HDFS加密区域。

hdfs-site

更改 hdfs-site.xml HDFS 中的值。

hcatalog-env

更改环境HCatalog中的值。

hcatalog-server-jndi

更改HCatalog的 jndi.properties 中的值。

hcatalog-server-proto-hive-site

更改 proto-hive-site .x HCatalog ml 中的值。

hcatalog-webhcat-env

更改 HCatalog W 环境ebHCat中的值。

hcatalog-webhcat-log4j2

更改 HCatalog W ebHCat 的 log4j2.properties 中的值。

hcatalog-webhcat-site

更改 HCatalog W ebHCat 的 webhcat-site.xml 文件中的值。

hive-beeline-log4j2

更改 Hive 的 beeline-log4j2.properties 文件中的值。

hive-parquet-logging

更改 Hive parquet-logging.properties 文件中的值。

hive-env

更改 Hive 环境中的值。

hive-exec-log4j2

更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。

hive-llap-daemon-log4j2

更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。

hive-log4j2

更改 Hive 的 hive-log4j2.properties 文件中的值。

hive-site

更改 Hive 的 hive-site.xml 文件中的值

hiveserver2-site

更改 Hive Server2 的 hiveserver2-site.xml 文件中的值

hue-ini

更改 Hue 的 ini 文件中的值

httpfs-env

更改HTTPFS环境中的值。

httpfs-site

更改 Hadoop 的 httpfs-site.xml 文件中的值。

hadoop-kms-acls

更改 Hadoop 的 kms-acls.xml 文件中的值。

hadoop-kms-env

在 Hadoop KMS 环境中更改值。

hadoop-kms-log4j

更改 Hadoop 的 kms-log4j.properties 文件中的值。

hadoop-kms-site

更改 Hadoop 的 kms-site.xml 文件中的值。

livy-conf

更改 Livy 的 livy.conf 文件中的值。

livy-env

更改 Livy 环境中的值。

livy-log4j

更改 Livy log4j.properties 设置。

mapred-env

更改 MapReduce 应用程序环境中的值。

mapred-site

更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。

oozie-env

更改 Oozie 的环境中的值。

oozie-log4j

更改 Oozie 的 oozie-log4j.properties 文件中的值。

oozie-site

更改 Oozie 的 oozie-site.xml 文件中的值。

phoenix-hbase-metrics

更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。

phoenix-hbase-site

更改 Phoenix 的 hbase-site.xml 文件中的值。

phoenix-log4j

更改 Phoenix 的 log4j.properties 文件中的值。

phoenix-metrics

更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。

pig-properties

更改 Pig 的 pig.properties 文件中的值。

pig-log4j

更改 Pig 的 log4j.properties 文件中的值。

presto-log

更改 Presto 的 log.properties 文件中的值。

presto-config

更改 Presto 的 config.properties 文件中的值。

presto-env

更改 Presto 的 presto-env.sh 文件中的值。

presto-node

更改 Presto 的 node.properties 文件中的值。

presto-connector-blackhole

更改 Presto 的 blackhole.properties 文件中的值。

presto-connector-cassandra

更改 Presto 的 cassandra.properties 文件中的值。

presto-connector-hive

更改 Presto 的 hive.properties 文件中的值。

presto-connector-jmx

更改 Presto 的 jmx.properties 文件中的值。

presto-connector-kafka

更改 Presto 的 kafka.properties 文件中的值。

presto-connector-localfile

更改 Presto 的 localfile.properties 文件中的值。

presto-connector-mongodb

更改 Presto 的 mongodb.properties 文件中的值。

presto-connector-mysql

更改 Presto 的 mysql.properties 文件中的值。

presto-connector-postgresql

更改 Presto 的 postgresql.properties 文件中的值。

presto-connector-raptor

更改 Presto 的 raptor.properties 文件中的值。

presto-connector-redis

更改 Presto 的 redis.properties 文件中的值。

presto-connector-tpch

更改 Presto 的 tpch.properties 文件中的值。

spark

亚马逊EMR精心策划的 Apache Spark 设置。

spark-defaults

更改 Spark 的 spark-defaults.conf 文件中的值。

spark-env

更改 Spark 环境中的值。

spark-hive-site

更改 Spark 的 hive-site.xml 文件中的值

spark-log4j

更改 Spark 的 log4j.properties 文件中的值。

spark-metrics

更改 Spark 的 metrics.properties 文件中的值。

sqoop-env

更改 Sqoop 的环境中的值。

sqoop-oraoop-site

更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。

sqoop-site

更改 Sqoop 的 sqoop-site.xml 文件中的值。

tez-site

更改 Tez 的 tez-site.xml 文件中的值。

yarn-env

更改YARN环境中的值。

yarn-site

更改 yarn-site.xml 文件YARN中的值。

zeppelin-env

更改 Zeppelin 环境中的值。

zookeeper-config

更改 ZooKeeper的 zoo.cfg 文件中的值。

zookeeper-log4j

更改 ZooKeeper的 log4j.properties 文件中的值。