Amazon EMR 7.6.0 - Hive 版本備註

改進項目

針對 ORC 非 ACID 分割資料表新增快速 S3 字首清單功能

功能

新增對 S3AFileSystem 上 Hive Write Queries 的 Magic Committers 支援

錯誤修正

HIVE-17709：移除 sun.misc.Cleaner 參考

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

是否使用快速 S3 分割區探索進行分割計算。這將為支援的檔案格式啟用字首型清單：ORC。請注意，此功能使用 S3 Express One Zone 儲存類別不支援的 S3 API 參數。使用時，請停用此功能。

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

快速 S3 分割區探索的最大平行處理程度。

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

單一執行快速 S3 分割區探索的平行處理程度。只有在 hive.exec.fast.s3.partition.discovery.enabled 設為 時，此組態才會有效果 true

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

使用 Hive 切換的旗標是否應追蹤記憶體中所有待處理的遞交？ 魔術遞交者可以選擇將遞交資料存放在記憶體中，透過較少的 S3 呼叫來加速 TaskCommit 操作。此組態會覆寫 Hadoop 組態 fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

Magic committer 是否應該在 blobstore 中建立 dp 預備路徑來切換的旗標？ 此旗標僅適用於 Hive 透過 使用 Magic Committer 時，追蹤遞交至記憶體的情況hive.blobstore.output-committer.magic.track.commits.in.memory.enabled。根據預設，此值會設為 true，但只有在啟用 ，並在 blobstore 中儲存建立任務嘗試路徑的其他 S3 呼叫hive.blobstore.output-committer.magic.track.commits.in.memory.enabled時才會生效。

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

使用 Magic Committer 時，在 LLAP 的寫入流程中是否應該停用 blobstore FS 快取的旗標。啟用 LLAP 時，此旗標會呈現為圖片，且預設為 true。