本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon EMR 6.7.0 – Hive 发布说明
Amazon EMR 6.7.0 – Hive 更改
类型 | 描述 |
---|---|
功能 | 亚马逊 EMR Hive |
功能 | 适用于 Hive EMRFS Amazon S3 优化提交程序的其他审核日志记录。Hive config:hive.blobstore.output-committer.logging ,默认值:false |
功能 | 如果在插入覆盖时删除目标目录,选择结果为空,会导致未分区的表/静态分区的行为与 Hive 2.x 类似。Hive config:hive.emr.iow.clean.target.dir ,默认值:false |
错误 | 修复了在将 Hive EMRFS Amazon S3 优化提交程序与分区存储桶排序结合使用时出现间歇性查询失败的问题。 |
升级 | 已将 Hive 升级到版本 3.1.3。请参阅 Apache Hive 3.1.3 发布说明 |
升级 | 已将 Parquet 升级到 1.12.2 |
逆向移植 | HIVE-20065 |
逆向移植 | HIVE-20071 |
逆向移植 | HIVE-20607 |
逆向移植 | HIVE-20740 |
逆向移植 | HIVE-20961 |
逆向移植 | HIVE-22059 |
逆向移植 | HIVE-22351 |
逆向移植 | HIVE-23534 |
逆向移植 | HIVE-24048 |
逆向移植 | HIVE-24768 |
逆向移植 | HIVE-24816 |
逆向移植 | HIVE-25971 |
逆向移植 | HIVE-26036 |
Amazon EMR 6.7.0 – Hive 已知问题
-
如果使用窗口函数对与交集函数相同的列进行查询,则可能会导致如 HIVE-25278
中报告的转换无效问题,并导致查询结果不正确或查询失败。解决方法是在查询级别为此类查询禁用 CBO。修复程序将在 6.7.0 之后的 Amazon EMR 发行版中提供。有关更多信息,请联系 AWS 支持人员。 在 6.6.0 到 6.9.x 版 Amazon EMR 中,带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 HIVE-20703
所致,该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序,建议将 hive.optimize.sort.dynamic.partition.threshold
属性设置为-1
以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 HIVE-22269的一部分在 OSS Hive 中修复,并已在 Amazon EMR 6.10.0 中修复。