Amazon EMR 4.3.0 版

• Amazon EMR 7.x 版中的應用程式版本

• Amazon EMR 6.x 版之應用程式版本

• Amazon EMR 5.x 版之應用程式版本

• Amazon EMR 4.x 版之應用程式版本

功能

• 升級至 Hadoop 2.7.1

• 升級至 Spark 1.6.0

• 升級至 Ganglia 3.7.2

• 升級至 Presto 0.130

• Amazon EMR 針對 spark.dynamicAllocation.enabled 設定為 true 時做了些變更；預設值為 false。設定為 true 時，會影響由 maximizeResourceAllocation 設定所設定的預設值。

  • 如果 spark.dynamicAllocation.enabled 設定為 true，則 spark.executor.instances 不會由 maximizeResourceAllocation 設定。

  • spark.driver.memory 設定現在是以叢集中的執行個體類型為基礎來設定，類似 spark.executors.memory 的設定方式。然而，由於 Spark 驅動程式應用程式可能會在主執行個體或其中一個核心執行個體上執行 (例如分別在 YARN 用戶端和叢集模式)，spark.driver.memory 設定會以這兩種執行個體群組中較小型的執行個體類型為依據來設定。

  • spark.default.parallelism 現在設定為 YARN 容器可用 CPU 核心數量的兩倍。在先前的版本中，設定值為該值的一半。

  • 為預留給 Spark YARN 程序而計算出來的記憶體總量會調整得更加精確，使 Spark 可用的記憶體 (即 spark.executor.memory) 總數小幅增加。

解決先前版本的已知問題

• YARN 記錄彙整現在預設為啟用。

• 修正 YARN 記錄彙整啟用時日誌不會被推送至叢集的 Amazon S3 日誌儲存貯體的問題。

• YARN 容器大小現在於所有節點類型的新訂下限值為 32。

• 修正 Ganglia 中造成大型叢集之主節點出現過多磁碟 I/O 的問題。

• 修正叢集關閉時應用程式日誌無法推送至 Amazon S3 的問題。

• 修正 EMRFS CLI 中造成特定命令失敗的問題。

• 修正 Zeppelin 中相依性無法載入基礎 SparkContext 的問題。

• 修正提出調整規模嘗試新增執行個體時產生的問題。

• 修正 Hive 中 CREATE TABLE AS SELECT 對 Amazon S3 執行過多列出呼叫的問題。

• 修正 Hue、Oozie、Ganglia 安裝時大型叢集無法正常佈建的問題。

• 修正 s3-dist-cp 中即使因錯誤而失敗仍會傳回零為結束代碼的問題。