本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR 6.9.0 – Hive 版本備註
Amazon EMR 6.9.0 – Hive 變更
Type | 描述 |
---|---|
升級 | 將 Jetty 升級至 9.4.48.v20220622 |
升級 | 支援 Hadoop 3.3.3 |
功能 | Amazon EMR Hive 使用 GCSC API 與 Lake Formation 整合,以實現互動式工作負載。 |
功能 | Amazon EMR Hive 與 Iceberg 整合。 |
改進項目 | 使用 Amazon EMR 安全組態啟用傳輸中加密後,在 HiveServer2 中啟用 SSL。 |
改進項目 | 依預設,啟用 Hive EMRFS Amazon S3 優化的遞交程式。如需詳細資訊,請參閱 啟用 Hive EMRFS S3 優化的遞交程式。 |
改進項目 | 新增僅繼承 InputFormat mapred 版本的 HiveHBaseTableInputFormatV2 ,以修正 SPARK-34210hive.hbase.inputformat.v2 設定為 true ,以使用它。 |
改進項目 | 等待 TezAM 在背景中使用 hive.cli.tez.session.async 啟動,而不是終止它後立即啟動新版本。使用 hive.emr.cli.tez.session.open.timeout 設定此逾時 (以秒為單位)。 |
改進項目 | 新增選項 hive.conf.restricted.list.append,以將逗號分隔的組態附加至現有的受限組態清單 hive.conf.restricted.list 。 |
改進項目 | 由於未為資料庫定義位置而導致 Hive 查詢失敗時,會出現更清晰的錯誤訊息。 |
向後移植 | HIVE-24484 |
向後移植 | HIVE-22398 |
向後移植 | HIVE-23190 |
向後移植 | HIVE-22185 |
向後移植 | HIVE-21670mockito-all 取代為 mockito-core 依存項目。 |
向後移植 | HIVE-24542 |
向後移植 | HIVE-23751ProxyFileSystem 中的 #mkdirs() 方法以在 HADOOP-16582 之後對齊。 |
向後移植 | HIVE-21603 |
向後移植 | HIVE-24083hcatalog 錯誤:需要身分驗證類型。 |
向後移植 | HIVE-24282 |
向後移植 | HIVE-20656 |
向後移植 | HIVE-25443 |
向後移植 | HIVE-19792 |
向後移植 | HIVE-20437 |
向後移植 | HIVE-21987 |
向後移植 | HIVE-20038 |
Amazon EMR 6.9.0 – Hive 已知問題
在 Amazon EMR 6.6.0 至 6.9.x 中,具有動態分割區和 ORDER BY 或 SORT BY 子句的 INSERT 查詢將始終具有兩個縮減器。此問題是因 OSS 變更 HIVE-20703
所造成,此變更會將動態排序分割區優化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序,建議將 hive.optimize.sort.dynamic.partition.threshold
屬性設定為-1
,以停用新功能並取得計算正確的縮減器數量。此問題已作為 HIVE-22269的一部分在 OSS Hive 中修正,並已在 Amazon EMR 6.10.0 中修正。