選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

Amazon EMR 6.11.0 – Hive 版本備註 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR 6.11.0 – Hive 版本備註

Amazon EMR 6.11.0 – Hive 變更

Type 描述
改進項目 新增了對多執行緒捨棄分割區的支援,以提高捨棄分割區的效能
改進項目 支援讀取編碼的 Hive 查詢檔案
改進項目 依預設,為 Hive on Tez 作業啟用 Tez 混洗處理常式
錯誤 新增了一個選項,以允許在啟用 hive.groupby.skewindata 時對縮減器啟用固定式金鑰分佈,從而修正錯誤結果 (在 HIVE-20220 中報告)
錯誤 修正了在設定預設分割區名稱時,統計資料運算失敗的問題
錯誤 遵守在啟用了傳輸中加密的叢集中,以立即可用的方式為 HiveServer2 設定 SSL 時傳遞的任何自訂 SSL 分類參數
向後移植 HIVE-23617:修正了 storage-api FindBug 問題
向後移植 HIVE-26408:向量化:修正暫存資料欄的取消配置,不要重複使用子項 ConstantVectorExpression 作為輸出
向後移植 HIVE-23614:始終將 HiveConfig 傳遞給 removeTempOrDuplicateFiles
向後移植 HIVE-23354:從 compareTempOrDuplicateFiles 中移除檔案大小例行性檢查
向後移植 HIVE-20344:為擲出 AccessControlException 的 SBA 修正了 PrivilegeSynchronizer。還引入了 hive.privilege.synchronizer 屬性來停用權限同步器
向後移植 HIVE-15826:支援為所有 SerDes 設定 'serialization.encoding'
向後移植 HIVE-18284:修正使用 dynpart 排序優化插入具有 'distribute by' 子句的資料時出現的 NPE
向後移植 HIVE-24930:在向量化程式碼路徑中不使用來自子操作的 Operator.setDone() 短路 (如果 childSize == 1)
向後移植 HIVE-24523:LazySimpleSerde 的向量化讀取路徑不支援時間戳記的 SERDEPROPERTIES
向後移植 HIVE-23265:在設定了「限制」和「位移」的情況下傳回重複的資料列集
向後移植 HIVE-21492:VectorizedParquetRecordReader 無法讀取使用 thrift/自訂工具產生的 parquet 檔案
向後移植 HIVE-22540:向量化:Decimal64 資料欄不適用於 VectorizedBatchUtil.makeLikeColumnVector()
向後移植 HIVE-22588:切換向量 groupby 模式時,排清其餘分組集的剩餘資料列
向後移植 HIVE-22551:BytesColumnVector initBuffer 應一致地清除向量和長度
向後移植 HIVE-22448:CBO:使用 group-by 金鑰擴展多個不同的計數
向後移植 HIVE-22248:修正持續存在的統計資料問題
向後移植 HIVE-22210:向量化可以重複使用篩選中涉及的運算輸出資料欄
向後移植 HIVE-21531:向量化:所有 NULL 雜湊程式碼都不是使用 Murmur3 運算的
向後移植 HIVE-20419:向量化:防止在 hashmap 金鑰中使用 VectorPartitionDesc 後發生變動
向後移植 HIVE-19388:VectorMapJoinCommonOperator 初始化期間出現 ClassCastException
向後移植 HIVE-21584:Java 11 準備工作:系統類別載入器不是 URLClassLoader
向後移植 HIVE-25107:類別路徑日誌記錄應處於 DEBUG 層級 (#2271)
向後移植 HIVE-22097:適用於 java 11 的 java.util.ArrayList 不相容
向後移植 HIVE-23938:LLAP:JDK11 – 某些 GC 日誌檔案輪換相關的 jvm 引數無法再使用
向後移植 HIVE-26226:在 upgrade-acid 中將 jdk.tools dep 從 hive-metastore 中排除
向後移植 HIVE-17879:升級 Datanucleus Maven 外掛程式
向後移植 HIVE-27004:DateTimeFormatterBuilder#appendZoneText 無法在高於 8 的 Java 版本中剖析 'UTC+'
向後移植 HIVE-16812:VectorizedOrcAcidRowBatchReader 無法篩選刪除事件
向後移植 HIVE-17917:VectorizedOrcAcidRowBatchReader.computeOffsetAndBucket 優化
向後移植 HIVE-19985:ACID:略過解碼唯讀查詢的 ROW__ID 區段
向後移植 HIVE-20635:VectorizedOrcAcidRowBatchReader 不會篩選原始檔案的刪除事件
升級 將 Javadoc 升級至 3.3.1
升級 將 Javassist 升級至 3.24.1-GA
升級 將 apache-directory-server 更新至 2.0.0-M14

新組態

名稱 分類 描述
hive.metastore.fs.drop.partition.threads hive-site 捨棄分割區執行緒集區中的核心執行緒數量。
hive.metastore.fs.drop.partition.keepalive.time hive-site 閒置的捨棄分割區非同步執行緒 (來自執行緒集區) 在終止之前等待新任務到達的時間 (以秒為單位)。
hive.metastore.fs.drop.partition.threadpool.max.queue.size hive-site 執行緒集區中用於從檔案系統中捨棄分割區的最大佇列大小。
hive.groupby.enable.deterministic.distribution hive-site 啟用將金鑰固定分佈至縮減器。它將在呼叫用於隨機分割的 rand 函數時傳遞固定的種子值。
hive.privilege.synchronizer hive-site 是否在 HiveServer2 中定期同步來自外部授權方的權限。
hive.cli.query.file.encoding hive-site cli 引數中提供的所有類型的查詢檔案 (查詢檔案、init 查詢檔案、rc 檔案等) 的檔案編碼。
hive.emr.tez.shuffle.enabled hive-site Hive on Tez 作業現在預設使用 tez_shuffle 而不是 mapreduce_shuffle 作為預設混洗處理常式。

已棄用組態

由於 HIVE-23354,下列組態屬性已棄用,且 Amazon EMR 6.11.0 版及更高版本不再支援。

名稱 預設值

hive.mapred.reduce.tasks.speculative.execution

false

tez.am.speculation.enabled

false

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。