選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

Amazon EMR 6.9.0 – Hive 版本備註 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR 6.9.0 – Hive 版本備註

Amazon EMR 6.9.0 – Hive 變更

Type 描述
升級 將 Jetty 升級至 9.4.48.v20220622
升級 支援 Hadoop 3.3.3
功能 Amazon EMR Hive 使用 GCSC API 與 Lake Formation 整合,以實現互動式工作負載。
功能 Amazon EMR Hive 與 Iceberg 整合。
改進項目 使用 Amazon EMR 安全組態啟用傳輸中加密後,在 HiveServer2 中啟用 SSL。
改進項目 依預設,啟用 Hive EMRFS Amazon S3 優化的遞交程式。如需詳細資訊,請參閱 啟用 Hive EMRFS S3 優化的遞交程式
改進項目 新增僅繼承 InputFormat mapred 版本的 HiveHBaseTableInputFormatV2,以修正 SPARK-34210。將 hive.hbase.inputformat.v2 設定為 true,以使用它。
改進項目 等待 TezAM 在背景中使用 hive.cli.tez.session.async 啟動,而不是終止它後立即啟動新版本。使用 hive.emr.cli.tez.session.open.timeout 設定此逾時 (以秒為單位)。
改進項目 新增選項 hive.conf.restricted.list.append,以將逗號分隔的組態附加至現有的受限組態清單 hive.conf.restricted.list
改進項目 由於未為資料庫定義位置而導致 Hive 查詢失敗時,會出現更清晰的錯誤訊息。
向後移植 HIVE-24484:將 Hadoop 升級至 3.3.1,並將 Tez 升級至 0.10.2
向後移植 HIVE-22398:透過 ShimLoader 移除 YARN 佇列管理。
向後移植 HIVE-23190:LLAP:修改 IndexCache 以將檔案系統物件傳遞至 TezSpillRecord。
向後移植 HIVE-22185:HADOOP-15832 會導致使用 MiniYarn 叢集時出現測試問題。
向後移植 HIVE-21670:將 mockito-all 取代為 mockito-core 依存項目。
向後移植 HIVE-24542:準備 Guava 進行升級。
向後移植 HIVE-23751:QTest:覆寫 ProxyFileSystem 中的 #mkdirs() 方法以在 HADOOP-16582 之後對齊。
向後移植 HIVE-21603:準備 Java 11:更新 powermock 版本。
向後移植 HIVE-24083:Hadoop 3.3.0 中出現 hcatalog 錯誤:需要身分驗證類型。
向後移植 HIVE-24282:除非明確提及,否則顯示資料欄不應對輸出資料欄進行排序。
向後移植 HIVE-20656:合理的預設值:映射彙總記憶體組態過於積極。
向後移植 HIVE-25443:如果值超過 1024 個,Arrow SerDe 無法對複雜資料類型進行序列化/還原序列化
向後移植 HIVE-19792:將 orc 升級至 1.5.2,並啟用 decimal_64 結構描述演變測試。
向後移植 HIVE-20437:處理從浮點數、雙精度浮點數和十進位數字轉換的結構描述演變。
向後移植 HIVE-21987:Hive 無法讀取使用十進位注釋的 Parquet int32。
向後移植 HIVE-20038:對非歸納和分割的資料表的更新查詢擲出 NPE。

Amazon EMR 6.9.0 – Hive 已知問題

  • 在 Amazon EMR 6.6.0 至 6.9.x 中,具有動態分割區和 ORDER BY 或 SORT BY 子句的 INSERT 查詢將始終具有兩個縮減器。此問題是因 OSS 變更 HIVE-20703 所造成,此變更會將動態排序分割區優化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序,建議將 hive.optimize.sort.dynamic.partition.threshold 屬性設定為 -1,以停用新功能並取得計算正確的縮減器數量。此問題已作為 HIVE-22269 的一部分在 OSS Hive 中修正,並已在 Amazon EMR 6.10.0 中修正。

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。