新增內容 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

新增內容

本頁說明 Amazon EMR 7.x、6.x 和 5.x 最新版本中可用的變更和功能。

這些版本說明也可在 Amazon EMR 7.2.0、Amazon EMR 6.15.0 和 Amazon EMR 5.36.2 頁面上取得,以及每個版本的應用程式版本、元件版本和可用的組態分類。

注意

Amazon EMR 使用的新版本 AWS 簽名版本 4 (SigV4) 以驗證傳送給 Amazon S3 的請求。我們建議您使用支援的 Amazon EMR 版本 SigV4 這樣您就可以存取新的 S3 儲存貯體並避免工作負載中斷。如需詳細資訊和支援的 Amazon EMR 版本清單 SigV4,請參閱Amazon EMR 和 AWS Signature 第 4 版

Amazon EMR 7.2.0(7.x 系列的最新版本)

從初始EMR發行日期的第一個區域開始,新的 Amazon 版本會在數天內在不同區域提供。在此期間,您所在區域可能無法使用最新版本。

下列版本說明包含 Amazon 7.2.0 EMR 版本的相關資訊。變化是相對於 7.2.0。

新功能
  • 應用程式升級 — Amazon EMR 7.2.0 application upgrades include Iceberg 1.5.0-amzn-0 and Delta 3.1.0.

  • Amazon EMR 增加了支持HBase,以便您可以將其他應用程序(例如 Flink 和 Hive)與 Amazon S3 快遞單區域存儲類別一起使用。

  • 此版本新增了讀取還原物件的功能,因此您可以使用S3A通訊協定從 S3 位置讀取 Glacier 物件。這種能力的工作原理與星火, Flink, 和蜂巢.

  • 具有受管擴展的節點標籤-根據市場類型或節點類型將節點標籤與執行個體搭配使用,以改善 Amazon 的自動擴展功能EMR。如需詳細資訊,請參閱在 Amazon 中使用受管擴展EMR

已知問題
  • EMR工作室不支持 Python 3.11。

變更、強化功能和已解決的問題
  • 此版本可修正內部步驟清除作業期間可能發生的鎖死問題。此作業會在步驟在EMR叢集上完成時管理步驟的生命週期。此問題會影響關鍵的 Amazon EMR 作業,例如步驟操作和擴展。

  • 此版本解決了具有特定預先存在日誌檔AMIs的自訂叢集可能導致 Amazon 日EMR誌管理常駐程式失敗的問題。

  • Amazon EMR 7.2.0 升級負責群集管理和監控活動的 Amazon EMR 守護進程 AWS SDK第 1 版至第 2 版。

  • 當您使用 Amazon EMR 5.36 或更高版本,6.6 或更高版本或 7.0 或更高版本的最新修補程序版本啟動集群時,Amazon 將最新的 Amazon Linux 2023 或 Amazon Linux 2 版本EMR用於默認 Amazon。EMR AMI如需詳細資訊,請參閱使用 Amazon 的預設 Amazon Linux AMI EMR

    OsReleaseLabel (Amazon Linux 版本) Amazon Linux 核心版本 可用日期 支援地區
    2023.5.20240819.0 6.1.102-111.182. 2024年8月20日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、亞太區域 (海德拉巴)、中東 ()、歐洲 (西班牙UAE)、歐洲 (蘇黎世)、亞太區域 (墨爾本)、以色列 (特拉維夫)、加拿大西部 (卡加利)
    2023.5.20240730.0 6.1.97-104.177.amzn2023 2024年8月2日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、亞太區域 (海德拉巴)、中東 ()、歐洲 (西班牙UAE)、歐洲 (蘇黎世)、亞太區域 (墨爾本)、以色列 (特拉維夫)、加拿大西部 (卡加利)
    2023.5.20240722.0 6.1.97-104.177.amzn2023 2024年7月24日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、亞太區域 (海德拉巴)、中東 ()、歐洲 (西班牙UAE)、歐洲 (蘇黎世)、亞太區域 (墨爾本)、以色列 (特拉維夫)、加拿大西部 (卡加利)
    2023.5.20240708.0 6.1.96-102.177.amzn2023 2024年7月8日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), 加拿大西部 (卡爾加里), AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)

Amazon EMR 6.15.0(6.x 系列的最新發布)

從初始EMR發行日期的第一個區域開始,新的 Amazon 版本會在數天內在不同區域提供。在此期間,您所在區域可能無法使用最新版本。

下列版本說明包含 Amazon 6.15. EMR 0 版本的相關資訊。變更是相對於 6.14.0 版而言。如需有關發行時間表的資訊,請參閱 6.15.0 變更日誌

新功能
  • 應用程式升級 — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.

  • 執行叢EMR集的啟動速度更快 EC2 — 現在在EC2叢集EMR上啟動 Amazon 的速度快了 35%。透過這項改善,大多數客戶就可以在 5 分鐘或更短的時間內啟動叢集。

  • CodeWhisperer 適用於工作EMR室 — 您現在可以將 Amazon CodeWhisperer 與 Amazon EMR Studio 搭配使用,在撰寫程式碼時取得即時建議 JupyterLab。 CodeWhisperer 可以完成您的註解、完成單行程式碼、 line-by-line 提出建議,以及產生完整格式的函數。

  • 使用 Flink 加快任務重新啟動時間 — 使用 Amazon EMR 6.15.0 及更高版本,Apache Flink 可以使用多種新機制,以改善任務復原或擴展操作期間的任務重新啟動時間。這樣可以優化復原和重新開始執行圖形的速度,以改善作業穩定性。

  • 適用於開放式表格格式的表格層級和精細化存取控制 — 使用 Amazon EMR 6.15.0 及更高版本,當您在存取資料的EC2叢集EMR上執行 Spark 任務時 AWS Glue 數據目錄,您可以使用 AWS Lake Formation 將表、列、欄和儲存格層級權限套用至 Hudi、冰山或三角洲湖的資料表。

  • Hadoop 的升級-Amazon EMR 6.15.0 包括阿帕奇 Hadoop 的升級到 3.3.6 版本。Hadoop 3.3.6 是 Amazon EMR 6.15 部署時的最新版本,由阿帕奇在 2023 年 6 月發布。Amazon 的先前版本EMR(6.9.0 至 6.14 倍)使用的 Hadoop 3.3.3。

    升級包括數百個改進和修復,以及包括可重新配置的數據節點參數的功能,用於在所有實時數據節點上啟動批量重新配置操作的DFSAdmin選項,以及允許搜索大量讀取器指定多個範圍API的矢量圖形。Hadoop 3.3.6 還增加了對其預寫日誌(WAL)的支持HDFSAPIs和語義,以便HBase可以在其他存儲系統實現上運行。如需詳細資訊,請參閱 Apache Hadoop 文件中的版本 3.3.43.3.53.3.6 版的變更日誌。

  • Support AWS SDK對於 Java,版本 2 -Amazon EMR 6.15.0 應用程序可以使用 AWS SDK如果應用程式支援 V2,則適用於 Java 版本 1.12.5692.20.160。所以此 AWS SDK對於 Java 2.x 版本是 1.x 版代碼庫的一個主要重寫。它建置在 Java 8+ 上,並新增了數個經常請求的功能。其中包括對非阻塞 I/O 的支持,以及在運行時插入不同HTTP實現的能力。如需詳細資訊,包括從 Java v1 到 v2 SDK 的移轉指南,請參閱 AWS SDK對於 Java,版本 2 指南。

變更、強化功能和已解決的問題
  • 為了改善您的高可用性EMR叢集,此版本可連線到使用本機主機上的 Amazon EMR 精靈 IPv6 端點。

  • 此版本可讓 TLS 1.2 在高可用性叢集的所有主要節點上 ZooKeeper 佈建進行通訊。

  • 此版本改善了主要節點上維護的 ZooKeeper 交易記錄檔的管理,以最大限度地減少記錄檔超出邊界並中斷叢集作業的案例。

  • 此版本可讓高可用性叢集的節點內通訊更具彈性EMR。此改善可減少引導動作失敗或叢集啟動失敗的可能性。

  • Amazon EMR 6.15.0 中的 Tez 引入了您可以指定在 Tez 分組拆分中異步打開輸入拆分的組態。當單一 Tez 分組分割中有大量輸入分割時,這有助於改善讀取查詢的效能。如需詳細資訊,請參閱 Tez 非同步分割開啟

  • 當您使用 Amazon EMR 5.36 或更高版本,6.6 或更高版本或 7.0 或更高版本的最新修補程序版本啟動集群時,Amazon 將最新的 Amazon Linux 2023 或 Amazon Linux 2 版本EMR用於默認 Amazon。EMR AMI如需詳細資訊,請參閱使用 Amazon 的預設 Amazon Linux AMI EMR

    OsReleaseLabel (Amazon Linux 版本) Amazon Linux 核心版本 可用日期 支援地區
    2.0.20240816.0 4.14.350 2024年8月21 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240809.0 4.14.349 2024年8月20日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240719.0 4.14.348 2024年7月25日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240709.1 4.14.348 2024年7月23 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、亞太區域 (海德拉巴)、中東 ()、歐洲 (西班牙UAE)、歐洲 (蘇黎世)、亞太區域 (墨爾本)、以色列 (特拉維夫)、加拿大西部 (卡加利)
    2.0.20240223.0 4.14.336 2024年3月8日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、加拿大西部 (卡加利)
    2.0.20240131.0 4.14.336 2024年2月14日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、加拿大西部 (卡加利)
    2.0.20240124.0 4.14.336 2024年2月7日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、加拿大西部 (卡加利)
    2.0.20240109.0 4.14.334 2024年1月24日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、加拿大西部 (卡加利)
    2.0.20231218.0 4.14.330 2024年1月2日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20231206.0 4.14.330 2023 年 12 月 22 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20231116.0 4.14.328 2023 年 12 月 11 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20231101.0 4.14.327 2023 年 11 月 13 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (海德拉巴)、亞太區域 (東京))、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、中東 (UAE)、加拿大 (中部), 以色列 (特拉維夫), AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)

Amazon EMR 5.36.2(5.x 系列的最新發布)

從初始EMR發行日期的第一個區域開始,新的 Amazon 版本會在數天內在不同區域提供。在此期間,您所在區域可能無法使用最新版本。

下列版本說明包含 Amazon 5.36.2 EMR 版本的相關資訊。更改是相對於 5.36.1 的。如需有關發行時間表的資訊,請參閱 變更日誌

變更、強化功能和已解決的問題
  • 此版本改善了叢集縮小邏輯,因此 Amazon EMR 不會在叢集的HDFS複寫因素設定之下縮減核心節點。此改進可滿足資料備援需求,並減少擴展作業停止的機會。

  • 此版本為執行 Presto 或 Trino 的叢集擴展工作流程增加了新的重試機制。此改進可降低因單一重新調整大小作業失敗而無限期執行叢集調整大小的風險。它還提高了叢集使用率,因為您的叢集可以更快地擴增與縮減規模。

  • 修正 Amazon EMR 優雅地解除委任核心節點時,叢集縮小操作可能會停止運作,且在核心節點完全停用之前變成狀態不良的問題。

  • 改善 Amazon EMR 重新啟動單一節點時,具有多個主節點的高可用性叢集中節點的穩定性。

  • 使用在 Amazon 上EMR運行的 Amazon 優化日誌管理。EC2因此,您可能發現叢集日誌的儲存成本略微降低。

  • 改善主要節點上維護之 ZooKeeper 交易記錄檔的管理,以將記錄檔超出邊界的情況降到最低,並中斷叢集作業。

  • 修復了一個罕見錯誤,該錯誤可能導致具有多個主節點的高可用性集群由於無法與 Yarn ResourceManager 進行通信而失敗。

  • 當您使用 Amazon EMR 5.36 或更高版本,6.6 或更高版本或 7.0 或更高版本的最新修補程序版本啟動集群時,Amazon 將最新的 Amazon Linux 2023 或 Amazon Linux 2 版本EMR用於默認 Amazon。EMR AMI如需詳細資訊,請參閱使用 Amazon 的預設 Amazon Linux AMI EMR

    OsReleaseLabel (Amazon Linux 版本) Amazon Linux 核心版本 可用日期 支援地區
    2.0.20240816.0 4.14.350 2024年8月21 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240809.0 4.14.349 2024年8月20日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240719.0 4.14.348 2024年7月25日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)
    2.0.20240709.1 4.14.348 2024年7月23 日 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美國東部)、中國 (北京)、中國 (寧夏)、亞太區域 (海德拉巴)、中東 ()、歐洲 (西班牙UAE)、歐洲 (蘇黎世)、亞太區域 (墨爾本)、以色列 (特拉維夫)、加拿大西部 (卡加利)
    2.0.20240503.0 4.14.343 XXXX 美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (香港) (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、 AWS GovCloud (美國西部), AWS GovCloud (美東)、中國 (北京)、中國 (寧夏)

Amazon EMR 和 AWS Signature 第 4 版

Amazon EMR 版本使用 AWS 簽名版本 4 (SigV4) 以驗證傳送給 Amazon S3 的請求。2020 年 6 月 24 日之後在 Amazon S3 中建立的儲存貯體不支援由第 2 版簽署程序 (SigV2) 簽署的請求。在 2020 年 6 月 24 日或更早建立的儲存貯體將繼續支援 SigV2。我們建議您移轉至支援的 Amazon EMR 版本 SigV4 這樣您就可以存取新的 S3 儲存貯體並避免工作負載中斷。

如果您使用的是包含在 Amazon 的應用程序,EMR如 Apache 星火,Apache 蜂巢和普雷斯托,你不需要改變你的應用程序代碼使用 SigV4 。 如果您使用 Amazon 未隨附的自訂應用程式EMR,您可能需要更新程式碼才能使用 SigV4。 如需詳細資訊,請參閱 Amazon S3 使用者指南中的從簽名版本 2 移至簽名版本 4

以下 Amazon EMR 發布支持 SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher。 所有 6.x 和 7.x 版本支援 SigV4.