Amazon 版本備註EMR封存

新功能

• Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

• Amazon EMR受管擴展現在可在ap-southeast-3亞太區域 （雅加達） 區域用於您使用 Amazon 6.14.0 EMR 和更高版本建立的叢集。

變更、強化功能和已解決的問題

• 6.14.0 版使用在 Amazon EMR上執行的 Amazon 來最佳化日誌管理。 EC2因此，您可能發現叢集日誌的儲存成本略微降低。

• 6.14.0 版改善了擴展工作流程，以考量其 Amazon EBS磁碟區大小有重大差異的不同核心執行個體。這項改善措施僅套用至核心節點；而任務節點的縮減規模操作則不會受到影響。

• 6.14.0 版改善了 Amazon 與開放原始碼應用程式EMR互動的方式，例如 Apache Hadoop YARN ResourceManager and HDFS NameNode。 此改善可降低叢集擴展的操作延遲風險，並減少因開放原始碼應用程式連線問題而發生的啟動失敗。

• 6.14.0 版會在叢集啟動時最佳化應用程式安裝。這可改善特定 Amazon EMR 應用程式組合的叢集啟動時間。

• 6.14.0 版本修正當VPC具有自訂網域的 中執行的叢集遇到核心或任務節點重新啟動時，叢集縮減操作可能會停止的問題。

• 當您啟動具有 Amazon EMR 5.36 或更高版本、6.6 或更高版本，或 7.0 或更高版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用 Amazon Linux AMI for Amazon EMR的預設。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）、 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 17 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 9 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）

新功能

• Amazon EMR 6.13.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-1, CUDA Toolkit 11.8.0, and JupyterHub 1.5.0.

變更、強化功能和已解決的問題

• 6.13.0 版本改善了 Amazon EMR日誌管理常駐程式，以確保在發出叢集終止命令時，所有日誌都會定期上傳至 Amazon S3。這樣會促進更快速地終止叢集。

• 6.13.0 版本增強了 Amazon EMR日誌管理功能，以確保所有日誌檔案一致且及時地上傳至 Amazon S3。這特別有益於長時間執行的EMR叢集。

• 當您啟動具有 Amazon EMR 5.36 或更高版本、6.6 或更高版本，或 7.0 或更高版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）、 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231020.1	4.14.326	2023 年 11 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231012.1	4.14.326	2023 年 10 月 26 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230926.0	4.14.322	2023 年 10 月 19 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）

新功能

• Amazon EMR 6.12.0 supports Apache Spark 3.4.0, Apache Spark RAPIDS 23.06.0-amzn-0, CUDA 11.8.0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Trino 414, and PrestoDB 0.281.

• Amazon EMR發行 6.12.0 及更高版本，支援LDAP與 Apache Livy、Apache Hive 到 HiveServer2 （HS2）、Trino、Presto 和 Hue 整合。您也可以在使用 6.12.0 或更新版本的EMR叢集上安裝 Apache Spark 和 Apache Hadoop，並將其設定為使用 LDAP。如需詳細資訊，請參閱使用 Active Directory 或LDAP伺服器與 Amazon 進行身分驗證EMR。

變更、強化功能和已解決的問題

• Amazon EMR6.12.0 版及更新版本為 Flink 提供 Java 11 執行期支援。如需詳細資訊，請參閱將 Flink 設定為使用 Java 11 執行。

• 6.12.0 版為EMR執行 Presto 或 Trino 的叢集新增了重新嘗試機制。此改進降低了叢集調整大小因一次失敗的操作而無限期停滯的風險。它還提高了叢集使用率，因為您的叢集可以更快地擴增與縮減規模。

• 6.12.0 版本修正了當逐漸除役中的核心節點在完全除役前因任何原因而運作狀態不佳時，叢集規模縮減操作可能停滯的問題。

• 6.12.0 版本改善了叢集縮減邏輯，因此您的叢集不會嘗試縮減核心節點至低於叢集複HDFS寫係數設定的規模。這和您的資料備援要求一致，且降低了擴展操作可能停滯的機率。

• 6.12.0 版本EMR透過提高記錄執行個體狀態變更的速度，增強 Amazon 運作狀態監控服務的效能和效率。對於執行多個自訂用戶端工具或第三方應用程式的叢集節點，此改進降低了發生效能降級的機率。

• 6.12.0 版本改善了 Amazon 叢集內日誌管理常駐程式的效能EMR。因此，使用以高並行執行步驟的EMR叢集，降低效能的機率較小。

• 使用 Amazon 6.12.0 EMR版時，日誌管理常駐程式已升級，以識別在本機執行個體儲存體上具有開放檔案控點的所有正在使用中的日誌，以及相關聯的程序。此升級可確保 Amazon 在日誌封存至 Amazon S3 之後EMR，正確刪除檔案並回收儲存空間。

• 6.12.0 版本包含日誌管理常駐程式增強功能，可刪除本機叢集檔案系統中空白、未使用的步驟目錄。過多的空白目錄可能會降低 Amazon EMR 常駐程式的效能，並導致磁碟過度使用。

• 6.12.0 版本會啟用YARN時間軸伺服器日誌的日誌輪換。這可最大限度減少磁碟過度使用的情形，特別適合長時間執行的叢集。

• Amazon 6.10.0 及更高版本的預設根磁碟區大小已增加至 EMR 15 GB。舊版預設根磁碟區大小為 10 GB。

• 當您啟動具有 Amazon EMR 5.36 或更新版本、6.6 或更新版本或 7.0 或更新版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）， 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231020.1	4.14.326	2023 年 11 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231012.1	4.14.326	2023 年 10 月 26 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230926.0	4.14.322	2023 年 10 月 19 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230822.0	4.14.322	2023 年 8 月 30 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）

變更、強化功能和已解決的問題

• 由於鎖定爭用，如果節點在嘗試除役的同時被新增或移除，則可能會進入死鎖狀態。因此，Hadoop Resource Manager （YARN） 變得沒有回應，並影響所有傳入和目前執行的容器。

• 此版本包含一項變更，以允許高可用性叢集在重新啟動後從失敗的狀態還原。

• 此版本包含 Hue 和 的安全修正HBase。

• 此版本修正了使用 Amazon 在 Spark 上執行工作負載的叢集EMR可能以 contains、startsWith、 endsWith和 默默方式收到錯誤結果的問題like。當您在 Amazon EMR Hive3 Metastore Server （） 中具有中繼資料的分割欄位上使用運算式時，就會發生此問題HMS。

• 此版本修復了在沒有使用者定義函數 （） 時 Glue 端調節的問題UDF。

• 此版本修正了節點日誌彙總服務刪除容器日誌的問題，之後日誌推送器才能在YARN停用時將其推送至 S3。

• 此版本修復了在 Hadoop 啟用節點標籤時 FairShare 排程器指標的問題。

• 此版本修正了當您在 spark-defaults.conf 中為 spark.yarn.heterogeneousExecutors.enabled 組態設定預設 true 值時，Spark 效能將受影響的問題。

• 此版本修正了「減少任務」無法讀取隨機顯示資料的問題。該問題導致 Hive 查詢因記憶體損毀錯誤而失敗。

• 此版本將新的重試機制新增至執行 Presto 或 Trino 之叢集的EMR叢集擴展工作流程。此改進降低了叢集調整大小因一次失敗的操作而無限期停滯的風險。它還提高了叢集使用率，因為您的叢集可以更快地擴增與縮減規模。

• 此版本改善了叢集縮減邏輯，因此您的叢集不會嘗試縮減叢集複HDFS寫係數設定下的核心節點。這和您的資料備援要求一致，且降低了擴展操作可能停滯的機率。

• 日誌管理常駐程式已升級，可識別本機執行個體儲存及相關程序上與開放檔案控點搭配使用的所有作用中日誌。此升級可確保 Amazon 在日誌封存至 Amazon S3 之後EMR，正確刪除檔案並回收儲存空間。

• 此版本包含日誌管理常駐程式增強功能，可刪除本機叢集檔案系統中空白、未使用的步驟目錄。過多的空白目錄可能會降低 Amazon EMR 常駐程式的效能，並導致磁碟過度使用。

• 當您啟動具有 Amazon EMR 5.36 或更高版本、6.6 或更高版本，或 7.0 或更高版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）， 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 加拿大西部 （卡加利）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231020.1	4.14.326	2023 年 11 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231012.1	4.14.326	2023 年 10 月 26 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230926.0	4.14.322	2023 年 10 月 19 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230822.0	4.14.322	2023 年 8 月 30 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)

新功能

• Amazon EMR 6.11.0 支援 Apache Spark 3.3.2-amzn-0、Apache Spark RAPIDS 23.02.0-amzn-0、CUDA11.8.0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Trino 410-amzn-0 和 PrestoDB 0.279-amzn-0。

變更、強化功能和已解決的問題

• 使用 Amazon EMR 6.11.0，DynamoDB 連接器已升級至 5.0.0 版。5.0.0 版使用 AWS SDK for Java 2.x。先前版本已使用 AWS SDK for Java 1.x。由於此升級，強烈建議您在搭配 Amazon EMR 6.11 使用 DynamoDB 連接器之前先測試程式碼。

• 當 Amazon EMR 6.11.0 的 DynamoDB 連接器呼叫 DynamoDB 服務時，它會使用您為 dynamodb.endpoint 屬性提供的區域值。建議您在使用 dynamodb.endpoint 時同時設定 dynamodb.region，兩項屬性均以同一 AWS 區域為目標。如果您使用 dynamodb.endpoint且未設定 dynamodb.region，Amazon EMR6.11.0 的 DynamoDB 連接器將傳回無效的區域例外狀況，並嘗試從 Amazon EC2執行個體中繼資料服務 （IMDS） 協調 AWS 區域 您的資訊。如果連接器無法從 擷取區域IMDS，則預設為美國東部 （維吉尼亞北部） （us-east-1）。下列錯誤是如果您未正確設定 dynamodb.region 屬性時可能遇到的無效區域例外範例：error software.amazon.awssdk.services.dynamodb.model.DynamoDbException: Credential should be scoped to a valid region.如需受 AWS SDK for Java 升級至 2.x 影響的類別的詳細資訊，請參閱 Amazon EMR - DynamoDB 連接器 GitHub 的儲存庫中的AWS SDK for Java 從 1.x 升級至 2.x （#175）。

• 此版本修正了在資料欄重新命名操作後，如果您使用 Delta Lake 將 Delta 資料表資料儲存在 Amazon S3 中，資料欄資料變為 NULL 的問題。如需有關此 Delta Lake 實驗性功能的詳細資訊，請參閱《Delta Lake 使用者指南》中的資料欄重新命名操作。

• 6.11.0 版本修正了當您從具有多個主節點的叢集複寫其中一個主要節點，以便建立邊緣節點時可能發生的問題。複寫的邊緣節點可能導致規模縮減操作出現延遲，或致使主節點上發生記憶體使用率升高的情形。如需如何建立邊緣節點以與EMR叢集通訊的詳細資訊，請參閱 上的aws-samples儲存庫中的 Edge Node Creator GitHub。

• 6.11.0 版改善了 Amazon 在重新啟動之後EMR用來將 Amazon EBS磁碟區重新掛載至執行個體的自動化程序。

• 6.11.0 版本修復了導致 Amazon EMR 發佈至 Amazon 的 Hadoop 指標出現間歇性差距的問題。 CloudWatch

• 6.11.0 版本修復EMR了叢集的問題，其中包含叢集節點排除清單的YARN組態檔案更新因磁碟過度使用而中斷。不完整的更新會阻礙未來的叢集規模縮減操作。此版本可確保您的叢集維持正常運作，擴展操作也如預期執行。

• Amazon 6.10.0 及更高版本的預設根磁碟區大小已增加至 EMR 15 GB。舊版預設根磁碟區大小為 10 GB。

• Hadoop 3.3.3 在 YARN（YARN-9608） 中引入了變更，該變更會保留容器在停用狀態執行的節點，直到應用程式完成為止。此變更確保本機資料 (例如隨機顯示資料) 不會遺失，而且您不需要重新執行作業。這種方法還可能導致叢集上的資源利用不足，不管該叢集是否啟用受管擴展。

  使用 Amazon EMR6.11.0 和更新版本以及 6.8.1、6.9.1 和 6.10.1 版， 的值yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications會設定為 false 中的 yarn-site.xml以解決此問題。

  雖然修正解決了 YARN-9608 引入的問題，但由於啟用受管擴展的叢集上的隨機資料遺失，可能會導致 Hive 任務失敗。在此版本中，我們透過同時為 Hive 工作負載設定 yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data，以降低該風險。此組態僅適用於 Amazon 6.11.0 版及更新EMR版本。

• 當您啟動具有 Amazon EMR 5.36 或更新版本、6.6 或更新版本或 7.0 或更新版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  注意

  此版本不會再收到自動AMI更新，因為再成功執行了 1 個修補程式版本。修補程式版本以第二個小數點後的數字表示 (6.8.1)。若要查看您是否使用最新的修補程式版本，請檢查版本指南 中的可用版本，或在主控台中建立叢集時檢查 Amazon EMR版本下拉式清單，或使用 ListReleaseLabelsAPI或 list-release-labelsCLI動作。若要取得新版本的更新，請訂閱 What's new？ 頁面上的RSS摘要。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）、 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、以色列 (特拉維夫)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）

新功能

• Amazon EMR 6.10.0 支援 Apache Spark 3.3.1、Apache Spark RAPIDS 22.12.0、CUDA11.8.0、Apache Hudi 0.12.2-amzn-0、Apache Iceberg 1.1.0-amzn-0、Trino 403 和 PrestoDB 0.278.1。

• Amazon EMR 6.10.0 包含原生 Trino-Hudi 連接器，可提供對 Hudi 資料表中資料的讀取存取權。您可以使用 trino-cli --catalog hudi 啟動該連接器，並透過 trino-connector-hudi 按自身需求設定連接器。與 Amazon 的原生整合EMR意味著您不再需要使用 trino-connector-hive來查詢 Hudi 資料表。如需了解新連接器的支援組態清單，請參閱 Trino 文件的 Hudi 連接器頁面。

• Amazon EMR6.10.0 版及更新版本支援 Apache Zeppelin 與 Apache Flink 整合。如需更多資訊，請參閱在 Amazon EMR 中使用 Zeppelin 的 Flink 作業。

已知問題

• Hadoop 3.3.3 在 YARN（YARN-9608） 中引入了變更，該變更會保留容器在停用狀態執行的節點，直到應用程式完成為止。此變更確保本機資料 (例如隨機顯示資料) 不會遺失，而且您不需要重新執行作業。這種方法還可能導致叢集上的資源利用不足，不管該叢集是否啟用受管擴展。

  若要在 Amazon EMR 6.10.0 中解決此問題，您可以在 yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications false 中將 的值設定為 yarn-site.xml。在 Amazon EMR6.11.0 及更新版本以及 6.8.1、6.9.1 和 6.10.1 false中，預設會將組態設為 以解決此問題。

變更、強化功能和已解決的問題

• Amazon EMR 6.10.0 移除對 Apache Spark minimal-json.jar的 Amazon Redshift 整合的相依性，並自動將所需的 Spark-Redshift 相關 jar 新增至 Spark：spark-redshift.jar、 spark-avro.jar和 的執行器類別路徑RedshiftJDBC.jar。 使用 Apache Spark 的 Amazon Redshift 整合，啟動 Spark 應用程式

• 6.10.0 版本改進了叢集內日誌管理常駐程式，以監控EMR叢集中的其他日誌資料夾。這項改進可最大限度減少磁碟過度使用問題。

• 6.10.0 版本會在叢集上的日誌管理常駐程式停止時自動重新啟動它。這項改進可降低節點因磁碟過度使用而運作狀態不佳的風險。

• Amazon EMR 6.10.0 支援用於EMRFS使用者映射的區域端點。

• Amazon 6.10.0 及更高版本的預設根磁碟區大小已增加至 EMR 15 GB。舊版預設根磁碟區大小為 10 GB。

• 6.10.0 版本修正當所有剩餘的 Spark 執行程式都使用YARN資源管理員在停用主機上時，Spark 任務停止運作的問題。

• 使用 Amazon EMR 6.6.0 到 6.9.x 時，具有動態分割區和 ORDER BY 或 SORT BY 子句的INSERT查詢一律有兩個減少器。此問題是由OSS變更 HIVE-20703 所造成，其會將動態排序分割區最佳化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序，建議將 hive.optimize.sort.dynamic.partition.threshold 屬性設定為 -1，以停用新功能並取得計算正確的縮減器數量。此問題在 OSS Hive 中作為 HIVE-22269 的一部分修正，並在 Amazon 6.10.0 EMR 中修正。

• 當您啟動具有 Amazon EMR 5.36 或更高版本、6.6 或更高版本，或 7.0 或更高版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  注意

  此版本不會再收到自動AMI更新，因為再成功執行了 1 個修補程式版本。修補程式版本以第二個小數點後的數字表示 (6.8.1)。若要查看您是否使用最新的修補程式版本，請檢查版本指南 中的可用版本，或在主控台中建立叢集時檢查 Amazon EMR版本下拉式清單，或使用 ListReleaseLabelsAPI或 list-release-labelsCLI動作。若要取得新版本的更新，請訂閱 What's new？ 頁面上的RSS摘要。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）、 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、以色列 (特拉維夫)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230418.0	4.14.311	2023 年 5 月 3 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 加拿大 （中部）、 歐洲 （斯德哥爾摩）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （米蘭）、 歐洲 （西班牙）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （雅加達）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）
  2.0.20230404.1	4.14.311	2023 年 4 月 18 日	美國東部 （維吉尼亞北部）、美國東部 （俄亥俄）、美國西部 （加州北部）、美國西部 （奧勒岡）、加拿大 （中部）、歐洲 （斯德哥爾摩）、歐洲 （愛爾蘭）、歐洲 （倫敦）、歐洲 （巴黎）、歐洲 （法蘭克福）、歐洲 （米蘭）、亞太區域 （香港）、亞太區域 （孟買）、亞太區域 （雅加達）、亞太區域 （東京）、亞太區域 （首爾）、亞太區域 （大阪）、亞太區域 （新加坡）、亞太區域 （雪梨）、非洲 （開普敦）、南美洲 （聖保羅）、中東 （巴林）、中東 （UAE）
  2.0.20230404.0	4.14.311	2023 年 4 月 10 日	美國東部 (維吉尼亞北部)、歐洲 (巴黎)
  2.0.20230320.0	4.14.309	2023 年 3 月 30 日	美國東部 （維吉尼亞北部）、美國東部 （俄亥俄）、美國西部 （加州北部）、美國西部 （奧勒岡）、加拿大 （中部）、歐洲 （斯德哥爾摩）、歐洲 （愛爾蘭）、歐洲 （倫敦）、歐洲 （巴黎）、歐洲 （法蘭克福）、歐洲 （米蘭）、亞太區域 （香港）、亞太區域 （孟買）、亞太區域 （雅加達）、亞太區域 （東京）、亞太區域 （首爾）、亞太區域 （大阪）、亞太區域 （新加坡）、亞太區域 （雪梨）、非洲 （開普敦）、南美洲 （聖保羅）、中東 （巴林）、中東 （UAE）
  2.0.20230207.0	4.14.304	2023 年 2 月 22 日	美國東部 （維吉尼亞北部）、美國東部 （俄亥俄）、美國西部 （加州北部）、美國西部 （奧勒岡）、加拿大 （中部）、歐洲 （斯德哥爾摩）、歐洲 （愛爾蘭）、歐洲 （倫敦）、歐洲 （巴黎）、歐洲 （法蘭克福）、歐洲 （米蘭）、亞太區域 （香港）、亞太區域 （孟買）、亞太區域 （雅加達）、亞太區域 （東京）、亞太區域 （首爾）、亞太區域 （大阪）、亞太區域 （新加坡）、亞太區域 （雪梨）、非洲 （開普敦）、南美洲 （聖保羅）、中東 （巴林）、中東 （UAE）

新功能

• Amazon 6.9.0 EMR版支援 Apache Spark RAPIDS 22.08.0、Apache Hudi 0.12.1、Apache Iceberg 0.14.1、Trino 398 和 Tez 0.10.2。

• Amazon 6.9.0 EMR版包含新的開放原始碼應用程式 Delta Lake 2.1.0。

• Amazon 6.9.0 版及更新EMR版本中包含 Apache Spark 的 Amazon Redshift 整合。以前是一個開放原始碼工具，本機整合是一個 Spark 連接器，可用於建置在 Amazon Redshift 和 Amazon Redshift Serverless 中讀取和寫入資料的 Apache Spark 應用程式。如需詳細資訊，請參閱將 Amazon Redshift 整合用於 Apache Spark 與 Amazon EMR 。

• Amazon 6.9.0 EMR版在叢集縮減期間新增了對 Amazon S3 封存日誌的支援。在過去，您只能在叢集終止期間將日誌檔案封存到 Amazon S3。該新功能可確保即使在節點終止後，叢集上產生的日誌檔案仍保留在 Amazon S3 上。如需詳細資訊，請參閱設定叢集日誌記錄和偵錯。

• 為支援長時間執行的查詢，Trino 現在包含容錯執行機制。容錯執行可透過重試失敗的查詢或其元件任務，減少查詢失敗。如需詳細資訊，請參閱Trino 中的容錯執行。

• 您可以在 Amazon 上使用 Apache Flink EMR 來統一BATCH和STREAM處理 Apache Hive 資料表或任何 Flink 資料表來源的中繼資料，例如 Iceberg、Kinesis 或 Kafka。您可以使用 AWS Management Console AWS CLI、 或 Amazon 將 AWS Glue Data Catalog 指定為 Flink 的中繼存放區EMRAPI。如需詳細資訊，請參閱在 Amazon 中設定 Flink EMR。

• 您現在可以使用 Amazon SageMaker Studio 為EMREC2叢集上的 Amazon 上 Apache Spark、Apache Hive 和 Presto 查詢指定 AWS Identity and Access Management （IAM） 執行期角色和 AWS Lake Formation型存取控制。如需詳細資訊，請參閱設定 Amazon EMR 步驟 的執行期角色。

已知問題

• 對於 Amazon 6.9.0 EMR版，Trino 不適用於為 Apache Ranger 啟用的叢集。如果您需要搭配使用 Trino 和 Ranger，請聯絡 AWS Support。

• 如果針對 Apache Spark 使用 Amazon Redshift 整合，並且具有 Parquet 格式的精確度為微秒的 time、timetz、timestamp 或 timestamptz，則連接器會將時間值四捨五入為最接近的微秒值。請使用文字卸載格式 unload_s3_format 參數作為一種解決方法。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

• 從 Amazon SageMaker Studio 連線至 Amazon EMR叢集可能會間歇性失敗，並具有 403 禁止的回應碼。當叢集上IAM角色的設定需要超過 60 秒時，就會發生此錯誤。作為解決方法，您可以安裝 Amazon EMR修補程式，以啟用重試並將逾時時間增加到最少 300 秒。當您啟動叢集時，請使用下列步驟套用引導操作。

  1. 從下列 Amazon S3 下載引導指令碼和RPM檔案URIs。

     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm

  2. 從上一個步驟上傳檔案至您擁有的 Amazon S3 儲存貯體。儲存貯體必須與您計劃啟動叢集 AWS 區域 的位置相同。

  3. 當您啟動EMR叢集時，請包含下列引導動作。Replace (取代) bootstrap_URI 以及 RPM_URI 與 URIs Amazon S3 的 對應。

     --bootstrap-actions "Path=bootstrap_URI,Args=[RPM_URI]"

• 使用 Amazon 5.36.0 和 6.6.0 到 6.9.0 EMR版，SecretAgent且RecordServer服務元件可能會因 Log4j2 屬性中的檔案名稱模式組態不正確而發生日誌資料遺失。該錯誤組態會導致元件一天只產生一個日誌檔案。當使用輪換策略時，它會覆寫現有的檔案，而不會如預期產生新的日誌檔案。如需避免此狀況發生，請使用引導操作來每小時產生日誌檔案，並在檔案名稱中附加自動遞增的整數以處理輪換。

  對於 Amazon EMR 6.6.0 到 6.9.0 版本，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

  對於 Amazon EMR 5.36.0，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"

• Apache Flink 提供原生 S3 FileSystem 和 Hadoop FileSystem 連接器，讓應用程式建立 FileSink 並將資料寫入 Amazon S3。發生下列兩種例外狀況之一時，此狀況 FileSink 會失敗。

  java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS

  Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;
                                          at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]

  作為解決方法，您可以安裝 Amazon EMR修補程式，用於修復 Flink 中的上述問題。若要在啟動叢集時套用引導操作，請完成下列步驟。

  1. 下載 flink-rpm 到您的 Amazon S3 儲存貯體。您的RPM路徑是 s3://DOC-EXAMPLE-BUCKET/rpms/flink/。

  2. 使用下列 從 Amazon S3 下載引導指令碼和RPM檔案URI。regionName 將 取代 AWS 區域 為您計劃啟動叢集的 。

     s3://emr-data-access-control-regionName/customer-bootstrap-actions/gcsc/replace-rpms.sh

  3. Hadoop 3.3.3 引入了 YARN（YARN-9608） 的變更，該變更會讓容器在應用程式完成之前以停用狀態執行的節點保持。此變更確保本機資料 (例如隨機顯示資料) 不會遺失，而且您不需要重新執行作業。在 Amazon EMR 6.8.0 和 6.9.0 中，此方法也可能導致啟用或未啟用受管擴展的叢集上的資源使用率不足。

     使用 Amazon EMR 6.10.0，此問題的解決方法是在 false中yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications將 的值設定為 yarn-site.xml。在 Amazon EMR6.11.0 和更新版本以及 6.8.1、6.9.1 和 6.10.1 false中，預設會將組態設為 以解決此問題。

變更、強化功能和已解決的問題

• 對於 Amazon 6.9.0 版及更新EMR版本，Amazon EMR使用 Log4j 程式庫安裝的所有元件都使用 Log4j 2.17.1 版或更新版本。

• 當您在 Amazon 6.6.0、6.7.0 和 6.8.0 EMR版上使用 DynamoDB 連接器搭配 Spark 時，資料表中的所有讀取都會傳回空白結果，即使輸入分割參考非空白資料。Amazon 6.9.0 EMR版會修正此問題。

• 使用 Spark 讀取資料時，Amazon EMR 6.9.0 新增了對 Apache Hudi 的 Lake Formation 型存取控制的有限支援SQL。支援使用 Spark 的SELECT查詢SQL，且僅限於資料欄層級存取控制。如需詳細資訊，請參閱 Hudi 和 Lake Formation。

• 當您使用 Amazon EMR 6.9.0 建立已啟用節點標籤的 Hadoop 叢集時，YARN指標API會傳回所有分割區的彙總資訊，而不是預設分割區。如需詳細資訊，請參閱 YARN-11414。

• 使用 Amazon 6.9.0 EMR版，我們已將 Trino 更新至使用 Java 17 的 398 版。Amazon 6.8.0 的 Trino EMR 先前支援版本為在 Java 11 上執行的 Trino 388。如需有關此變更的詳細資訊，請參閱 Trino 部落格上的 Trino 更新至 Java 17。

• 此版本修正了 Apache BigTop 與 Amazon EMR on EC2 cluster 啟動序列之間的時間序列不相符問題。當系統嘗試同時執行兩項或更多操作，而不是以正確序列執行時，便會發生此時間序列不相符問題。因此，特定叢集組態會遇到執行個體啟動逾時和叢集啟動速度變慢的情形。

• 當您啟動具有 Amazon EMR 5.36 或更高版本、6.6 或更高版本，或 7.0 或更高版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  注意

  此版本不會再收到自動AMI更新，因為再成功執行了 1 個修補程式版本。修補程式版本以第二個小數點後的數字表示 (6.8.1)。若要查看您是否使用最新的修補程式版本，請檢查版本指南 中的可用版本，或在主控台中建立叢集時檢查 Amazon EMR版本下拉式清單，或使用 ListReleaseLabelsAPI或 list-release-labelsCLI動作。若要取得新版本的更新，請在 What's new？ 頁面上訂閱RSS摘要。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）， 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）、 加拿大西部 （卡加利）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)、以色列 (特拉維夫)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）、 以色列 （特拉維夫）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230418.0	4.14.311	2023 年 5 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.1	4.14.311	2023 年 4 月 18 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.0	4.14.311	2023 年 4 月 10 日	美國東部 (維吉尼亞北部)、歐洲 (巴黎)
  2.0.20230320.0	4.14.309	2023 年 3 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230307.0	4.14.305	2023 年 3 月 15 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230207.0	4.14.304	2023 年 2 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221210.1	4.14.301	2023 年 1 月 12 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221103.3	4.14.296	2022 年 12 月 5 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)

新功能

• Amazon EMR 步驟功能現在支援 Apache Livy 端點和 JDBC/ODBC 用戶端。如需詳細資訊，請參閱設定 Amazon EMR 步驟 的執行期角色。

• Amazon 6.8.0 EMR版隨附 Apache 2.4.12 HBase版。使用此HBase版本，您可以同時封存和刪除HBase資料表。Amazon S3 封存程序會重新命名所有資料表檔案，並移至封存目錄。此程序可能既昂貴又耗時。現在，您可以略過封存程序，並快速捨棄並刪除大型資料表。如需詳細資訊，請參閱使用 HBase shell。

已知問題

• Hadoop 3.3.3 在 YARN（YARN-9608） 中引入了變更，該變更會保留容器在停用狀態執行的節點，直到應用程式完成為止。此變更確保本機資料 (例如隨機顯示資料) 不會遺失，而且您不需要重新執行作業。在 Amazon EMR 6.8.0 和 6.9.0 中，此方法也可能導致啟用或未啟用受管擴展的叢集上的資源使用率不足。

  使用 Amazon EMR 6.10.0，此問題的解決方法是在 false中yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications將 的值設定為 yarn-site.xml。在 Amazon EMR6.11.0 和更新版本以及 6.8.1、6.9.1 和 6.10.1 false中，預設會將組態設為 以解決此問題。

變更、強化功能和已解決的問題

• 當 Amazon 6.5.0、6.6.0 或 6.7.0 EMR版透過 Apache Spark Shell 讀取 Apache Phoenix 資料表時，Amazon EMR會產生 NoSuchMethodError。Amazon 6.8.0 EMR版會修正此問題。

• Amazon 6.8.0 EMR版隨附 Apache Hudi 0.11.1；不過，Amazon EMR 6.8.0 叢集也與 Hudi 0.12.0 hudi-spark3.3-bundle_2.12的開放原始碼相容。

• Amazon 6.8.0 EMR版隨附 Apache Spark 3.3.0。此 Spark 版本使用 Apache Log4j 2 和 log4j2.properties 檔案，以設定 Spark 程序中的 Log4j。如果您在叢集中使用 Spark 或使用自訂組態參數建立EMR叢集，而且想要升級至 Amazon 6.8.0 EMR版，則必須遷移至 Apache Log4j 2 的新spark-log4j2組態分類和金鑰格式。如需詳細資訊，請參閱從 Apache Log4j 1.x 遷移至 Log4j 2.x。

• 當您啟動具有 Amazon EMR 5.36 或更新版本、6.6 或更新版本或 7.0 或更新版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  注意

  此版本不會再收到自動AMI更新，因為再成功執行了 1 個修補程式版本。修補程式版本以第二個小數點後的數字表示 (6.8.1)。若要查看您是否使用最新的修補程式版本，請檢查版本指南 中的可用版本，或在主控台中建立叢集時檢查 Amazon EMR版本下拉式清單，或使用 ListReleaseLabelsAPI或 list-release-labelsCLI動作。若要取得新版本的更新，請訂閱 What's new？ 頁面上的RSS摘要。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）， 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）、 亞太區域 （墨爾本）、 以色列 （特拉維夫）
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、亞太區域 (墨爾本)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)。
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 亞太區域 （墨爾本）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230418.0	4.14.311	2023 年 5 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.1	4.14.311	2023 年 4 月 18 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.0	4.14.311	2023 年 4 月 10 日	美國東部 (維吉尼亞北部)、歐洲 (巴黎)
  2.0.20230320.0	4.14.309	2023 年 3 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230307.0	4.14.305	2023 年 3 月 15 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230207.0	4.14.304	2023 年 2 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230119.1	4.14.301	2023 年 2 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221210.1	4.14.301	2023 年 12 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221103.3	4.14.296	2022 年 12 月 5 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221004.0	4.14.294	2022 年 11 月 2 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20220912.1	4.14.291	2022 年 9 月 6 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)

已知問題

• 當您在 Amazon 6.6.0、6.7.0 和 6.8.0 EMR版上使用 DynamoDB 連接器搭配 Spark 時，所有來自資料表的讀取都會傳回空白結果，即使輸入分割參考非空白資料。這是因為 Spark 3.2.0 預設將 spark.hadoopRDD.ignoreEmptySplits 設為 true。解決辦法之一是，將 spark.hadoopRDD.ignoreEmptySplits 明確設為 false。Amazon 6.9.0 EMR版會修正此問題。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

• 使用 Amazon 5.36.0 和 6.6.0 到 6.9.0 EMR版，SecretAgent且RecordServer服務元件可能會因 Log4j2 屬性中的檔案名稱模式組態不正確而發生日誌資料遺失。該錯誤組態會導致元件一天只產生一個日誌檔案。當使用輪換策略時，它會覆寫現有的檔案，而不會如預期產生新的日誌檔案。如需避免此狀況發生，請使用引導操作來每小時產生日誌檔案，並在檔案名稱中附加自動遞增的整數以處理輪換。

  對於 Amazon EMR 6.6.0 到 6.9.0 版本，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

  對於 Amazon EMR 5.36.0，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"

新功能

• Amazon EMR 現在支援 Apache Spark 3.2.1、Apache Hive 3.1.3、HUDI0.11、PrestoDB 0.272 和 Trino 0.378。

• 支援EC2叢集EMR上 Amazon IAM的角色和 Lake Formation 型存取控制與EMR步驟 （Spark、Hive）。

• 在已啟用叢集的 Apache Ranger 上支援 Apache Spark 資料定義陳述式。這現在包含對 Trino 應用程式在已啟用叢集的 Apache Ranger 上讀取與寫入 Apache Hive 中繼資料的支援。如需詳細資訊，請參閱在 Amazon 上使用 Trino 和 Apache Ranger 啟用聯合管理EMR。

• 當您啟動具有 Amazon EMR 5.36 或更新版本、6.6 或更新版本或 7.0 或更新版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用適用於 Amazon 的預設 AMI Amazon LinuxEMR。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）、 亞太區域 （海德拉巴）， 中東 （UAE）、 歐洲 （西班牙）、 歐洲 （蘇黎世）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231020.1	4.14.326	2023 年 11 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231012.1	4.14.326	2023 年 10 月 26 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230926.0	4.14.322	2023 年 10 月 19 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 10 月 4 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230822.0	4.14.322	2023 年 8 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）， 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）， 亞太區域 （孟買）、 亞太區域 （海德拉巴）， 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230418.0	4.14.311	2023 年 5 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.1	4.14.311	2023 年 4 月 18 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.0	4.14.311	2023 年 4 月 10 日	美國東部 (維吉尼亞北部)、歐洲 (巴黎)
  2.0.20230320.0	4.14.309	2023 年 3 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230307.0	4.14.305	2023 年 3 月 15 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230207.0	4.14.304	2023 年 2 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230119.1	4.14.301	2023 年 2 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221210.1	4.14.301	2023 年 12 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221103.3	4.14.296	2022 年 12 月 5 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221004.0	4.14.294	2022 年 11 月 2 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2022 年 2 月 2 日0912.1	4.14.291	2022 年 10 月 7 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20220719.0	4.14.287	2022 年 8 月 10 日	us‑west‑1, eu‑west‑3, eu‑north‑1, ap‑south‑1, me‑south‑1
  2.0.20220606.1	4.14.281	2022 年 7 月 15 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)

已知問題

• 當 Amazon 6.5.0、6.6.0 或 6.7.0 EMR版透過 Apache Spark Shell 讀取 Apache Phoenix 資料表時，NoSuchMethodError會發生 ，因為 Amazon EMR使用不正確的 Hbase.compat.version。Amazon 6.8.0 EMR版會修正此問題。

• 當您在 Amazon 6.6.0、6.7.0 和 6.8.0 EMR版上使用 DynamoDB 連接器搭配 Spark 時，所有來自資料表的讀取都會傳回空白結果，即使輸入分割參考非空白資料。這是因為 Spark 3.2.0 預設將 spark.hadoopRDD.ignoreEmptySplits 設為 true。解決辦法之一是，將 spark.hadoopRDD.ignoreEmptySplits 明確設為 false。Amazon 6.9.0 EMR版會修正此問題。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

• 使用 Amazon 5.36.0 和 6.6.0 到 6.9.0 EMR版，SecretAgent且RecordServer服務元件可能會因 Log4j2 屬性中的檔案名稱模式組態不正確而發生日誌資料遺失。該錯誤組態會導致元件一天只產生一個日誌檔案。當使用輪換策略時，它會覆寫現有的檔案，而不會如預期產生新的日誌檔案。如需避免此狀況發生，請使用引導操作來每小時產生日誌檔案，並在檔案名稱中附加自動遞增的整數以處理輪換。

  對於 Amazon EMR 6.6.0 到 6.9.0 版本，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

  對於 Amazon EMR 5.36.0，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"

• 在 Amazon 6.7 EMR 或更低版本上執行的叢集GetClusterSessionCredentialsAPI不支援 。

新功能

• Amazon EMR 6.6 現在支援 Apache Spark 3.2、Apache Spark RAPIDS 22.02、CUDA11、Apache Hudi 0.10.1、Apache Iceberg 0.13、Trino 0.367 和 PrestoDB 0.267。

• 當您啟動 Amazon EMR 5.36 或更新版本、6.6 或更新版本或 7.0 或更新版本的叢集時，Amazon EMR會使用預設 Amazon 的最新 Amazon Linux 2023 或 Amazon Linux 2 EMR 版本AMI。如需詳細資訊，請參閱使用 Amazon Linux AMI for Amazon 的預設EMR。

  OsReleaseLabel （Amazon Linux 版本）	Amazon Linux 核心版本	可用日期	支援地區
  2.0.20241001.0	4.14.352	2024 年 10 月 4 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240816.0	4.14.350	2024 年 8 月 21 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240809.0	4.14.349	2024 年 8 月 20 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240719.0	4.14.348	2024 年 7 月 25 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240709.1	4.14.348	2024 年 7 月 23 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）、 AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240223.0	4.14.336	2024 年 3 月 8 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240131.0	4.14.336	2024 年 2 月 14 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240124.0	4.14.336	2024 年 2 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20240109.0	4.14.334	2024 年 1 月 24 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231218.0	4.14.330	2024 年 1 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231206.0	4.14.330	2023 年 12 月 22 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231116.0	4.14.328	2023 年 12 月 11 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231101.0	4.14.327	2023 年 11 月 16 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231020.1	4.14.326	2023 年 11 月 7 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20231012.1	4.14.326	2023 年 10 月 26 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230926.0	4.14.322	2023 年 10 月 19 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （法蘭克福）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 加拿大 （中部）， AWS GovCloud （美國西部）， AWS GovCloud （美國東部）、 中國 （北京）、 中國 （寧夏）
  2.0.20230906.0	4.14.322	2023 年 10 月 4 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230822.0	4.14.322	2023 年 8 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230808.0	4.14.320	2023 年 8 月 24 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230727.0	4.14.320	2023 年 8 月 14 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩)、歐洲 (米蘭)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (雅加達)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)、加拿大 (中部)
  2.0.20230719.0	4.14.320	2023 年 8 月 2 日	美國東部 （維吉尼亞北部）、 美國東部 （俄亥俄）、 美國西部 （加利福尼亞北部）、 美國西部 （奧勒岡）、 歐洲 （斯德哥爾摩）、 歐洲 （米蘭）、 歐洲 （西班牙）、 歐洲 （法蘭克福）、 歐洲 （蘇黎世）、 歐洲 （愛爾蘭）、 歐洲 （倫敦）、 歐洲 （巴黎）、 亞太區域 （香港）、 亞太區域 （孟買）、 亞太區域 （海德拉巴）、 亞太區域 （東京）、 亞太區域 （首爾）、 亞太區域 （大阪）、 亞太區域 （新加坡）、 亞太區域 （雪梨）， 亞太區域 （雅加達）、 非洲 （開普敦）、 南美洲 （聖保羅）、 中東 （巴林）、 中東 （UAE）、 加拿大 （中部）
  2.0.20230628.0	4.14.318	2023 年 7 月 12 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230612.0	4.14.314	2023 年 6 月 23 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230504.1	4.14.313	2023 年 5 月 16 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230418.0	4.14.311	2023 年 5 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.1	4.14.311	2023 年 4 月 18 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230404.0	4.14.311	2023 年 4 月 10 日	美國東部 (維吉尼亞北部)、歐洲 (巴黎)
  2.0.20230320.0	4.14.309	2023 年 3 月 30 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230307.0	4.14.305	2023 年 3 月 15 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230207.0	4.14.304	2023 年 2 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20230119.1	4.14.301	2023 年 2 月 3 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221210.1	4.14.301	2023 年 12 月 22 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221103.3	4.14.296	2022 年 12 月 5 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20221004.0	4.14.294	2022 年 11 月 2 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2022 年 2 月 2 日0912.1	4.14.291	2022 年 10 月 7 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20220805.0	4.14.287	2022 年 8 月 30 日	us‑west‑1
  2.0.20220719.0	4.14.287	2022 年 8 月 10 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20220426.0	4.14.281	2022 年 6 月 10 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)
  2.0.20220406.1	4.14.275	2022 年 5 月 2 日	美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (雅加達)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (大阪)、亞太區域 (新加坡)、亞太區域 (雪梨)、非洲 (開普敦)、南美洲 (聖保羅)、中東 (巴林)

• 使用 Amazon EMR 6.6 及更新版本時，使用 Log4j 1.x 和 Log4j 2.x 的應用程式會升級為分別使用 Log4j 1.2.17 （或更新版本） 和 Log4j 2.17.1 （或更新版本），不需要使用提供的引導動作來緩解CVE問題。

• 【受管擴展】 Spark 隨機擴展資料受管擴展最佳化 - 對於 Amazon 5.34EMR.0 版和更新版本，以及 6.4.0 版和更新EMR版本，受管擴展現在是 Spark 隨機擴展資料感知 （Spark 重新分配到跨分割區以執行特定操作的資料）。如需隨機切換操作的詳細資訊，請參閱 Amazon EMR管理指南 和 Spark 程式設計指南 中的在 Amazon 中使用EMR受管擴展EMR。

• 從 Amazon EMR 5.32.0 和 6.5.0 開始，預設會啟用 Apache Spark 的動態執行器大小調整。若要開啟或關閉此功能，您可以使用 spark.yarn.heterogeneousExecutors.enabled 組態參數。

變更、強化功能和已解決的問題

• 對於使用EMR預設AMI選項且僅安裝 Apache Hadoop、Apache Spark 和 Apache Hive 等常見應用程式的叢集，Amazon 平均可EMR縮短叢集啟動時間最多 80 秒。

已知問題

• 當 Amazon 6.5.0、6.6.0 或 6.7.0 EMR版透過 Apache Spark Shell 讀取 Apache Phoenix 資料表時，NoSuchMethodError會發生 ，因為 Amazon EMR使用不正確的 Hbase.compat.version。Amazon 6.8.0 EMR版會修正此問題。

• 當您在 Amazon 6.6.0、6.7.0 和 6.8.0 EMR版上使用 DynamoDB 連接器搭配 Spark 時，所有來自資料表的讀取都會傳回空白結果，即使輸入分割參考非空白資料。這是因為 Spark 3.2.0 預設將 spark.hadoopRDD.ignoreEmptySplits 設為 true。解決辦法之一是，將 spark.hadoopRDD.ignoreEmptySplits 明確設為 false。Amazon 6.9.0 EMR版會修正此問題。

• 在 Trino 長時間執行的叢集上，Amazon EMR 6.6.0 可讓 Trino jvm.config 中的 Garbage Collection 記錄參數從 Garbage Collection 日誌中取得更好的洞見。此變更會將許多垃圾收集日誌附加到 launcher.log （/.log） 檔案var/log/trino/launcher。如果您在 Amazon EMR 6.6.0 中執行 Trino 叢集，則由於附加的日誌，在叢集執行幾天後，您可能會遇到節點耗盡磁碟空間。

  此問題的解決方法是執行以下指令碼作為引導動作，以在建立或複製 Amazon 6.6.0 叢集時停用 jvm.config EMR 中的垃圾收集記錄參數。

  #!/bin/bash
    set -ex
    PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino'
    sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

• 使用 Amazon 5.36.0 和 6.6.0 到 6.9.0 EMR版，SecretAgent且RecordServer服務元件可能會因 Log4j2 屬性中的檔案名稱模式組態不正確而發生日誌資料遺失。該錯誤組態會導致元件一天只產生一個日誌檔案。當使用輪換策略時，它會覆寫現有的檔案，而不會如預期產生新的日誌檔案。如需避免此狀況發生，請使用引導操作來每小時產生日誌檔案，並在檔案名稱中附加自動遞增的整數以處理輪換。

  對於 Amazon EMR 6.6.0 到 6.9.0 版本，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

  對於 Amazon EMR 5.36.0，請在啟動叢集時使用下列引導動作。

  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"

新功能

• 使用 Log4j 1.x 和 Log4j 2.x 的 Amazon 5.35 EMR版應用程式會升級為分別使用 Log4j 1.2.17 （或更新版本） 和 Log4j 2.17.1 （或更新版本），而且不需要使用引導動作來緩解先前版本中CVE的問題。請參閱 緩解 CVE-2021-44228 的方法。

已知問題

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

新功能

• 【受管擴展】 Spark 隨機擴展資料受管擴展最佳化 - 對於 Amazon 5.34EMR.0 版和更新版本，以及 6.4.0 版和更新EMR版本，受管擴展現在是 Spark 隨機擴展資料感知 （Spark 在分割區之間重新分佈以執行特定操作的資料）。如需隨機切換操作的詳細資訊，請參閱 Amazon EMR管理指南 和 Spark 程式設計指南 中的在 Amazon 中使用EMR受管擴展EMR。

• [Hudi] 改進以簡化 Hudi 組態。預設停用開放式並行控制。

變更、強化功能和已解決的問題

• 這是一個版本，用於修正 Amazon EMR Scaling 無法成功擴展叢集或導致應用程式失敗的問題。

• 先前，在多主機叢集上手動重新啟動資源管理員，會導致 Amazon EMR 叢集上精靈，例如 Zookeeper，重新載入 Zookeeper znode 檔案中所有先前停用或遺失的節點。這會使得在特定情形中超過預設限制。Amazon EMR 現在會從 Zookeeper 檔案移除已淘汰或遺失超過一小時的節點記錄，並提高內部限制。

• 已修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上的精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內精靈，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，由於YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• Zeppelin 升級至版本 0.10.0。

• Livy 修正 - 升級到 0.7.1

• Spark 效能改善 - 當在 5.34.0 EMR 中覆寫某些 Spark 組態值時，會停用異質執行器。

• WebHDFS 和 HttpFS 伺服器預設為停用。您可以使用 Hadoop 組態 重新啟用 WebHDFSdfs.webhdfs.enabled。HttpFS 伺服器可透過使用 sudo systemctl start hadoop-httpfs 啟動。

已知問題

• 搭配 Livy 使用者模擬使用的 Amazon EMR Notebooks 功能無法運作，因為 HttpFS 預設為停用。在此情況下，EMR筆記本無法連線至已啟用 Livy 模擬的叢集。解決方法是在使用 將EMR筆記本連接至叢集之前啟動 HttpFS 伺服器sudo systemctl start hadoop-httpfs。

• Hue 查詢無法在 Amazon EMR 6.4.0 中運作，因為 Apache Hadoop HttpFS 伺服器預設為停用。若要在 Amazon EMR 6.4.0 上使用 Hue，請使用 手動啟動 Amazon EMR主節點上的 HttpFS 伺服器sudo systemctl start hadoop-httpfs，或使用 Amazon EMR 步驟 。

• 搭配 Livy 使用者模擬使用的 Amazon EMR Notebooks 功能無法運作，因為 HttpFS 預設為停用。在此情況下，EMR筆記本無法連線至已啟用 Livy 模擬的叢集。解決方法是在使用 將EMR筆記本連接至叢集之前啟動 HttpFS 伺服器sudo systemctl start hadoop-httpfs。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

新功能

• 【受管擴展】 Spark 隨機擴展資料受管擴展最佳化 - 對於 Amazon 5.34EMR.0 版和更新版本，以及 6.4.0 版和更新EMR版本，受管擴展現在是 Spark 隨機擴展資料感知 （Spark 在分割區之間重新分配以執行特定操作的資料）。如需隨機切換操作的詳細資訊，請參閱 Amazon EMR管理指南 和 Spark 程式設計指南 中的在 Amazon 中使用EMR受管擴展EMR。

• 從 Amazon EMR 5.32.0 和 6.5.0 開始，預設會啟用 Apache Spark 的動態執行器大小調整。若要開啟或關閉此功能，您可以使用 spark.yarn.heterogeneousExecutors.enabled 組態參數。

• 支援適用於大型分析資料集的 Apache Iceberg 開放式資料表格式。

• 支援 ranger-trino-plugin 2.0.1-amzn-1

• 支援 toree 0.5.0

變更、強化功能和已解決的問題

• Amazon EMR 6.5 版本現在支援 Apache Iceberg 0.12.0，並透過 Amazon EMR Runtime for Apache Spark、Amazon EMR Runtime for Presto 和 Amazon EMR Runtime for Apache Hive 提供執行期改善。

• Apache Iceberg 是 Amazon S3 中大型資料集的開放資料表格式，可透過大型資料表、原子遞交、並行寫入和SQL相容的資料表演進提供快速查詢效能。透過 EMR 6.5，您可以將 Apache Spark 3.1.2 與 Iceberg 資料表格式搭配使用。

• Apache Hudi 0.9 新增 Spark SQLDDL和 DML 支援。這可讓您只使用SQL陳述式建立 upsert Hudi 資料表。Apache Hudi 0.9 還包含查詢端和寫入器端效能改進。

• Amazon EMR Runtime for Apache Hive 透過在預備操作期間移除重新命名操作來改善 Amazon S3 上的 Apache Hive 效能，並改善用於修復資料表的中繼存放區檢查 （MSCK） 命令的效能。

已知問題

• 當 Amazon 6.5.0、6.6.0 或 6.7.0 EMR版透過 Apache Spark Shell 讀取 Apache Phoenix 資料表時，NoSuchMethodError會發生 ，因為 Amazon EMR使用不正確的 Hbase.compat.version。Amazon 6.8.0 EMR版會修正此問題。

• 高可用性 (HA) 模式中的 Hbase 套件叢集無法使用預設的磁碟區大小和執行個體類型進行佈建。此問題的解決方法是，增加根磁碟區的大小。

• 若要搭配使用 Spark 動作和 Apache Oozie，您必須新增以下組態至您的 Oozie workflow.xml 檔案。否則，Oozie 啟動的 Spark 執行器的 classpath EMRFS中會缺少數個關鍵程式庫，例如 Hadoop 和 。

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

支援的應用程式

• AWS SDK for Java 1.12.31 版

• CloudWatch Sink 2.2.0 版

• DynamoDB 連接器版本 4.16.0

• EMRFS 2.47.0 版

• Amazon EMR Goodies 3.2.0 版

• Amazon EMR Kinesis Connector 3.5.0 版

• Amazon EMR Record Server 2.1.0 版

• Amazon EMR Scripts 2.5.0 版

• Flink 版本 1.13.1

• Ganglia 3.7.2 版

• AWS Glue Hive Metastore 用戶端 3.3.0 版

• Hadoop 版本 3.2.1-amzn-4

• HBase 2.4.4-amzn-0 版

• HBase-operator-tools 1.1.0

• HCatalog 3.1.2-amzn-5 版

• Hive 版本 3.1.2-amzn-5

• Hudi 版本 0.8.0-amzn-0

• Hue 版本 4.9.0

• Java JDK版本 Corretto-8.302.08.1 （建置 1.8.0_302-b08）

• JupyterHub 1.4.1 版

• Livy 版本 0.7.1-incubating

• MXNet 1.8.0 版

• Oozie 版本 5.2.1

• Phoenix 版本 5.1.2

• Pig 版本 0.17.0

• Presto 版本 0.254.1-amzn-0

• Trino 版本 359

• Apache Ranger KMS（多主機透明加密） 2.0.0 版

• ranger-plugins 2.0.1-amzn-0

• ranger-s3-plugin 1.2.0

• SageMaker Spark 1.4.1 SDK版

• Scala 2.12.10 版 （開啟JDK 64-Bit伺服器 VM、Java 1.8.0_282）

• Spark 版本 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop 版本 1.4.7

• TensorFlow 2.4.1 版

• tez 版本 0.9.2

• Zeppelin 版本 0.9.0

• Zookeeper 版本 3.5.7

• 連接器與驅動程式：DynamoDB 連接器 4.16.0

新功能

• 【受管擴展】 Spark 隨機擴展資料受管擴展最佳化 - 對於 Amazon 5.34EMR.0 版和更新版本，以及 6.4.0 版和更新EMR版本，受管擴展現在是 Spark 隨機擴展資料感知 （Spark 在分割區之間重新分配以執行特定操作的資料）。如需隨機切換操作的詳細資訊，請參閱 Amazon EMR管理指南 和 Spark 程式設計指南 中的在 Amazon 中使用EMR受管擴展EMR。

• 在啟用 Apache Ranger 的 Amazon EMR叢集上，您可以使用 Apache Spark SQL將資料插入 ，或使用 INSERT INTO、 INSERT OVERWRITE和 更新 Apache Hive 中繼存放區資料表ALTER TABLE。ALTER TABLE 搭配 Spark 使用 時SQL，分割區位置必須是資料表位置的子目錄。Amazon 目前EMR不支援將資料插入分割區，其中分割區位置與資料表位置不同。

• PrestoSQL 已重新命名為 Trino。

• Hive：只要擷取LIMIT子句中提到的記錄數目，就會停止查詢執行，進而加速SELECT執行具有LIMIT子句的簡單查詢。簡單SELECT查詢是沒有 GROUP BY / 的查詢ORDER，依子句或沒有精簡器階段的查詢。例如：SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>。

Hudi 並行控制

• Hudi 現在支援 Optimistic Concurrency Control （OCC），可以與寫入操作搭配使用INSERT，例如 UPSERT和 允許從多個寫入器變更為相同的 Hudi 資料表。這是檔案層級 OCC，因此任何兩個遞交 （或寫入器） 都可以寫入相同的資料表，如果其變更沒有衝突。如需詳細資料，請參閱 Hudi 並行控制。

• Amazon EMR叢集已安裝 Zookeeper，可用作 的鎖定提供者OCC。為了更輕鬆地使用此功能，Amazon EMR叢集具有下列預先設定的屬性：

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  若要啟用 OCC，您需要使用 Hudi 任務選項或使用 Amazon EMR組態在叢集層級設定下列屬性API：

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Hudi 監控：Amazon CloudWatch 整合以報告 Hudi 指標

• Amazon EMR支援將 Hudi 指標發佈至 Amazon CloudWatch。透過設定下列必要組態啟用此功能：

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• 以下是您可以變更的選用 Hudi 組態：

  設定	描述	Value
  hoodie.metrics.cloudwatch.report.period.seconds	向 Amazon 報告指標的頻率 （以秒為單位） CloudWatch	預設值為 60 秒，這對於 Amazon 提供的預設一分鐘解析度沒有問題 CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	要新增至每個指標名稱的字首	預設值為空 (無字首)
  hoodie.metrics.cloudwatch.namespace	發佈指標的 Amazon CloudWatch 命名空間	預設值為 Hudi
  hood.metrics.cloudwatch.maxDatumsPerRequest	要包含在向 Amazon 提出的單一請求中的基準數目上限 CloudWatch	預設值為 20，與 Amazon CloudWatch 預設值相同

Amazon EMR Hudi 組態支援和改善

• 客戶現在可以利用EMR組態API和重新組態功能，在叢集層級設定 Hudi 組態。已沿 Spark、Hive 等其他應用程式的行推出新的檔案型組態支援 via /etc/hudi/conf/hudi-defaults.conf。EMR 設定少數預設值以改善使用者體驗：

  — hoodie.datasource.hive_sync.jdbcurl 已設定為叢集 Hive 伺服器URL，不再需要指定。這在 Spark 叢集模式下執行任務時特別有用，您先前必須指定 Amazon EMR主 IP。

  — HBase特定組態，可用於搭配 Hudi 使用HBase索引。

  — Zookeeper 鎖定提供者特定的組態，如並行控制所述，這使得使用 Optimistic 並行控制 （OCC） 更容易。

• 已引入其他變更，以減少您需要傳遞的組態數量，並在可能時自動推斷：

  – partitionBy 關鍵字可用於指定分割區資料欄。

  – 當啟用「Hive 同步」時，不再強制傳遞 HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY。這些值可從 Hudi 資料表名稱和分割區欄位推斷得出。

  – 不用強制傳遞 KEYGENERATOR_CLASS_OPT_KEY，可從更簡單的情況 (SimpleKeyGenerator 和 ComplexKeyGenerator) 推斷得出。

Hudi 警告

• Hudi 不支援在 Hive 中針對「讀取時合併」(MoR) 和引導資料表的向量化執行。例如，當 hive.vectorized.execution.enabled 設為 true 時，使用 Hudi 即時資料表的 count(*) 將會失敗。作為解決方法之一，您可以透過將 hive.vectorized.execution.enabled 設為 false 停用向量化讀取。

• 多寫入器支援與 Hudi 引導功能不相容。

• Flink Streamer 和 Flink SQL是此版本的實驗性功能。不建議在生產部署中使用這些功能。

變更、強化功能和已解決的問題

這是一個版本，用於修正 Amazon EMR Scaling 無法成功擴展叢集或導致應用程式失敗的問題。

• 先前，在多主機叢集上手動重新啟動資源管理員，會導致 Amazon EMR 叢集上精靈，例如 Zookeeper，重新載入 Zookeeper znode 檔案中所有先前停用或遺失的節點。這會使得在特定情形中超過預設限制。Amazon EMR 現在會從 Zookeeper 檔案移除已淘汰或遺失超過一小時的節點記錄，並提高內部限制。

• 已修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上的精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內精靈，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，由於YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 設定叢集以修正 Apache YARN Timeline Server 第 1 版和 1.5 版的效能問題

  Apache YARN Timeline Server 第 1 版和第 1.5 版可能會導致非常活躍的大型EMR叢集的效能問題，特別是使用 yarn.resourcemanager.system-metrics-publisher.enabled=true時，這是 Amazon 中的預設設定EMR。開放原始碼 YARN Timeline Server v2 可解決與 YARN Timeline Server 可擴展性相關的效能問題。

  此問題的其他解決辦法包括：

  • 在 yarn-sitesystem-metrics-publisher.xml 中設定 yarn.resourcemanager..enabled=false。

  • 在建立叢集時啟用此問題的修正程式，如下所述。

  下列 Amazon EMR版本包含此 YARN Timeline Server 效能問題的修正。

  EMR 5.30.2、5.31.1、5.32.1、5.33.1、5.34.x、6.0.1、6.1.1、6.2.1、6.3.1、6.4.x

  若要啟用上述任何指定 Amazon EMR版本的修正，請在使用aws emr create-cluster命令參數 ： 傳入的true組態JSON檔案中將這些屬性設為 --configurations file://./configurations.json。或使用重新設定主控台 UI啟用修正程式。

  configurations.json 檔案內容的範例：

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• WebHDFS 和 HttpFS 伺服器預設為停用。您可以使用 Hadoop 組態 重新啟用 WebHDFSdfs.webhdfs.enabled。HttpFS 伺服器可透過使用 sudo systemctl start hadoop-httpfs 啟動。

• HTTPS 現在預設會針對 Amazon Linux 儲存庫啟用 。如果您使用 Amazon S3 VPCE政策來限制對特定儲存貯體的存取，則必須將新的 Amazon Linux 儲存貯體新增至政策 ARN arn:aws:s3:::amazonlinux-2-repos-$region/* （$region取代為端點所在的區域）。如需詳細資訊，請參閱 AWS 討論論壇中的此主題。公告：Amazon Linux 2 現在支援在連線至套件儲存庫 HTTPS時使用 的功能。

• Hive：啟用上HDFS一個任務在 上使用暫存目錄，可改善寫入查詢效能。最終任務的暫存資料會寫入 HDFS 而非 Amazon S3，且效能會有所改善，因為資料會從 HDFS 移至最終資料表位置 （Amazon S3），而不是在 Amazon S3 裝置之間移動。

• Hive：使用 Glue 中繼存放區分割區剔除，讓查詢編譯時間最多改進 2.5 倍。

• 根據預設，當 Hive 將內建內容UDFs傳遞至 Hive Metastore 伺服器時，由於 Glue 僅支援有限的表達運算子，因此只有一部分內建內容UDFs會傳遞至 Glue Metastore。如果您設定 hive.glue.partition.pruning.client=true，則所有分割區剔除將在用戶端發生。如果您設定 hive.glue.partition.pruning.server=true，則所有分割區剔除將在伺服器端發生。

已知問題

• Hue 查詢無法在 Amazon EMR 6.4.0 中運作，因為 Apache Hadoop HttpFS 伺服器預設為停用。若要在 Amazon EMR 6.4.0 上使用 Hue，請使用 手動啟動 Amazon EMR主節點上的 HttpFS 伺服器sudo systemctl start hadoop-httpfs，或使用 Amazon EMR 步驟 。

• 搭配 Livy 使用者模擬使用的 Amazon EMR Notebooks 功能無法運作，因為 HttpFS 預設為停用。在此情況下，EMR筆記本無法連線至已啟用 Livy 模擬的叢集。解決方法是在使用 將EMR筆記本連接至叢集之前啟動 HttpFS 伺服器sudo systemctl start hadoop-httpfs。

• 在 Amazon 6.4.0 EMR版中，Phoenix 不支援 Phoenix 連接器元件。

• 若要搭配使用 Spark 動作和 Apache Oozie，您必須新增以下組態至您的 Oozie workflow.xml 檔案。否則，Oozie 啟動的 Spark 執行器的 classpath EMRFS中會缺少數個關鍵程式庫，例如 Hadoop 和 。

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

升級

• 升級 Amazon Glue 連接器至版本 1.14.0

• 已SDK將 Amazon SageMaker Spark 升級至 1.4.1 版

• AWS SDK for Java 已升級至 1.11.890 版

• 升級的 EMR DynamoDB Connector 4.16.0 版

• EMRFS 已升級至 2.45.0 版

• 已將 EMR Log Analytics 指標升級至 1.18.0 版

• 已將EMR MetricsAndEventsApiGateway 用戶端升級至 1.5.0 版

• 已將 EMR Record Server 升級至 1.8.0 版

• 已將 EMR S3 Dist CP 升級至 2.17.0 版

• 已將 EMR Secret Agent 升級到 1.7.0 版

• 升級 Flink 至版本 1.11.2

• 升級 Hadoop 至版本 2.10.1-amzn-0

• 升級 Hive 至版本 2.3.7-amzn-3

• 升級 Hue 至版本 4.8.0

• 升級 Mxnet 至版本 1.7.0

• 升級 OpenCV 至版本 4.4.0

• 升級 Presto 至版本 0.240.1-amzn-0

• 升級 Spark 至版本 2.4.7-amzn-0

• TensorFlow 已升級至 2.3.1 版

變更、強化功能和已解決的問題

• 這是一個版本，用於修正 Amazon EMR Scaling 無法成功擴展叢集或導致應用程式失敗的問題。

• 已修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上的精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內精靈，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，由於YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• 已升級元件版本。

• 如需元件版本清單，請參閱本指南中的關於 Amazon EMR版本。

新功能

• 從 Amazon EMR 5.32.0 和 6.5.0 開始，預設會啟用 Apache Spark 的動態執行器大小調整。若要開啟或關閉此功能，您可以使用 spark.yarn.heterogeneousExecutors.enabled 組態參數。

• Instance Metadata Service （IMDS） V2 支援狀態：Amazon EMR 5.23.1、5.27.1 和 5.32 或更新版本元件IMDSv2用於所有IMDS呼叫。對於應用程式程式碼中的IMDS呼叫，您可以使用 IMDSv1和 IMDSv2，或IMDS將 設定為僅用於IMDSv2提高安全性。對於其他 5.x EMR版本，停用IMDSv1會導致叢集啟動失敗。

• 從 Amazon EMR 5.32.0 開始，您可以啟動與 Apache Ranger 原生整合的叢集。Apache Ranger 是一個開放原始碼架構，可在 Hadoop 平台上啟用、監控和管理全面的資料安全。如需詳細資訊，請參閱 Apache Ranger。透過原生整合，您可以自備 Apache Ranger，以在 Amazon 上強制執行精細的資料存取控制EMR。請參閱 Amazon 版本指南 中的將 Amazon EMR與 Apache Ranger 整合。 EMR

• Amazon 5.32.0 EMR版支援 Amazon EMR on EKS。如需在 EMR上開始使用 的詳細資訊EKS，請參閱什麼是 EMR上的 AmazonEKS。

• Amazon 5.32.0 EMR版支援 Amazon EMR Studio （預覽）。如需開始使用 EMR Studio 的詳細資訊，請參閱 Amazon EMR Studio （預覽）。

• 範圍受管政策：為符合 AWS 最佳實務，Amazon EMR已推出 v2 EMR範圍的預設受管政策，取代即將取代的政策。請參閱 Amazon EMR Managed Policy 。

已知問題

• 對於 Amazon EMR 6.3.0 和 6.2.0 私有子網路叢集，您無法存取 Ganglia Web UI。您將遇到「存取遭拒 (403)」錯誤。其他 Web UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez 正常運作。Ganglia Web UI 也將正常存取公有子網路叢集。若要解決此問題，請使用 sudo systemctl restart httpd 重新啟動主節點上的 httpd 服務。此問題已在 Amazon 6.4.0 EMR 中修正。

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 重要

  EMR 執行 Amazon Linux 或 Amazon Linux 2 Amazon Machine Images （AMIs） 的 叢集會使用預設的 Amazon Linux 行為，而且不會自動下載和安裝需要重新啟動的重要和關鍵核心更新。這與執行預設 Amazon Linux 的其他 Amazon EC2執行個體的行為相同AMI。如果在 Amazon EMR版本可供使用之後，需要重新啟動的新 Amazon Linux 軟體更新 （例如核心NVIDIA、 和CUDA更新） 變成可用，則執行預設值的EMR叢集執行個體AMI不會自動下載和安裝這些更新。若要取得核心更新，您可以自訂您的 AmazonEMRAMI，以使用最新的 Amazon Linux AMI。

• 主控台支援建立安全組態，指定 GovCloud 區域目前不支援 AWS Ranger 整合選項。安全組態可以使用 完成CLI。請參閱 Amazon EMR管理指南 中的建立EMR安全組態。

• 當叢集使用 Amazon EMR 5.31.0 AtRestEncryption 或 5.32.0 啟用 或 HDFS加密時，Hive 查詢會導致下列執行期例外狀況。

  TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

支援的應用程式

• AWS SDK for Java 1.11.828 版

• emr-record-server 1.7.0 版

• Flink 版本 1.11.2

• Ganglia 3.7.2 版

• Hadoop 版本 3.2.1-amzn-1

• HBase 2.2.6-amzn-0 版

• HBase-operator-tools 1.0.0

• HCatalog 3.1.2-amzn-0 版

• Hive 版本 3.1.2-amzn-3

• Hudi 版本 0.6.0-amzn-1

• Hue 版本 4.8.0

• JupyterHub 1.1.0 版

• Livy 版本 0.7.0

• MXNet 1.7.0 版

• Oozie 版本 5.2.0

• Phoenix 5.0.0 版

• Pig 版本 0.17.0

• Presto 版本 0.238.3-amzn-1

• PrestoSQL 343 版

• Spark 版本 3.0.1-amzn-0

• spark-rapids 0.2.0

• TensorFlow 2.3.1 版

• Zeppelin 版本 0.9.0-preview1

• Zookeeper 3.4.14 版

• 連接器與驅動程式：DynamoDB 連接器 4.16.0

新功能

• HBase：移除遞交階段中的重新命名，並新增持久性HFile追蹤。請參閱 Amazon EMR版本指南 中的持續HFile追蹤。

• HBase：Backported 建立強制在壓縮 上快取區塊的組態。

• PrestoDB：改進動態分割區剔除。規則型聯結重新排序適用於未分割資料。

• 範圍受管政策：為與 AWS 最佳實務保持一致，Amazon EMR已推出 v2 EMR範圍的預設受管政策，取代即將取代的政策。請參閱 Amazon EMR Managed Policy 。

• Instance Metadata Service （IMDS） V2 支援狀態：對於 Amazon EMR 6.2 或更新版本，Amazon EMR元件IMDSv2會用於所有IMDS呼叫。對於應用程式程式碼中的IMDS呼叫，您可以使用 IMDSv1和 IMDSv2，或IMDS將 設定為僅用於IMDSv2提高安全性。如果您在舊版 Amazon EMR 6.x IMDSv1中停用 ，會導致叢集啟動失敗。

變更、強化功能和已解決的問題

• 這是一個版本，用於在叢集無法成功擴展/縮減或導致應用程式失敗時，修正 Amazon EMR Scaling 的問題。

• 修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內常駐程式，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，因YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• Spark：Spark 執行期中的效能改進。

已知問題

• Amazon EMR 6.2 在 the /etc/cron.d/libinstance-controller-java file in EMR 6.2.0. Permissions on the file are 645 (-rw-r--r-x), when they should be 644 (-rw-r--r--). As a result, Amazon EMR version 6.2 does not log instance-state logs, and the /emr/instance-logs 目錄中設定了不正確的許可，但為空。此問題已在 Amazon EMR 6.3.0 及更新版本中修正。

  若要解決此問題，請在叢集啟動時執行以下指令碼作為引導操作。

  #!/bin/bash
  sudo chmod 644 /etc/cron.d/libinstance-controller-java
              

• 對於 Amazon EMR 6.2.0 和 6.3.0 私有子網路叢集，您無法存取 Ganglia Web UI。您將遇到「存取遭拒 (403)」錯誤。其他 Web UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez 正常運作。Ganglia Web UI 也將正常存取公有子網路叢集。若要解決此問題，請使用 sudo systemctl restart httpd 重新啟動主節點上的 httpd 服務。此問題已在 Amazon EMR 6.4.0 中修正。

• Amazon EMR 6.2.0 中存在 httpd 持續失敗的問題，導致 Ganglia 無法使用。您會遇到「無法連線至伺服器」的錯誤。若要修正已執行此問題的叢集，請將 列SSH新增至叢集主節點Listen 80，並將該行新增至httpd.conf位於 的 檔案/etc/httpd/conf/httpd.conf。此問題已在 Amazon 6.3.0 EMR 中修正。

• HTTPD 當您使用安全組態時，EMR6.2.0 叢集會失敗。這會使 Ganglia Web 應用程式使用者界面變得不可使用。若要存取 Ganglia Web 應用程式使用者界面，請在叢集的主節點上將 Listen 80 新增至 /etc/httpd/conf/httpd.conf 檔案。如需有關連線至叢集的資訊，請參閱使用 連線至主要節點SSH。

  EMR 當您使用安全組態時，筆記本也無法與 EMR 6.2.0 叢集建立連線。筆記本將無法列出核心於提交 Spark 作業。我們建議您EMR改為將EMR筆記本與另一個版本的 Amazon 搭配使用。

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的版本中，Amazon EMR 預設的預設 ulimit 設定AMI為 4096，表示「開啟中的檔案上限」，低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的舊版 Amazon EMR沒有此問題的永久修正，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 重要

  Amazon EMR 6.1.0 和 6.2.0 包含可能影響所有 Hudi 插入、upsert 和刪除操作的效能問題。如果您計劃將 Hudi 與 Amazon EMR 6.1.0 或 6.2RPM.0 搭配使用，您應該聯絡 AWS 支援以取得修補的 Hudi。

• 重要

  EMR 執行 Amazon Linux 或 Amazon Linux 2 Amazon Machine Images （AMIs） 的叢集會使用預設的 Amazon Linux 行為，而且不會自動下載和安裝需要重新啟動的重要和關鍵核心更新。這與執行預設 Amazon Linux 的其他 Amazon EC2執行個體的行為相同AMI。如果在 Amazon EMR版本推出後，出現需要重新啟動的新 Amazon Linux 軟體更新 （例如核心NVIDIA、 和CUDA更新），則執行預設值的EMR叢集執行個體AMI不會自動下載和安裝這些更新。若要取得核心更新，您可以自訂您的 AmazonEMRAMI，以使用最新的 Amazon Linux AMI。

• Amazon EMR 6.2.0 Maven 成品未發佈。它們將與未來的 Amazon 版本一起發佈EMR。

• 使用 HBase Storefile 系統資料表的持續HFile追蹤不支援HBase區域複寫功能。如需HBase區域複寫的詳細資訊，請參閱時間軸一致性高可用讀取 。

• Amazon EMR 6.x 和 EMR 5.x Hive 儲存貯體版本差異

  EMR 5.x 使用 OOS Apache Hive 2，而 6.x EMR 使用 OOS Apache Hive 3。開放原始碼 Hive2 使用儲存貯體劃分版本 1，而開放原始碼 Hive3 使用儲存貯體劃分版本 2。Hive 2 （EMR 5.x） 和 Hive 3 （EMR 6.x） 之間的儲存貯體版本差異表示 Hive 儲存貯體雜湊的函數不同。請參閱以下範例。

  下表是分別在 6.x EMR 和 5.x EMR 中建立的範例。

  -- Using following LOCATION in EMR 6.x
  CREATE TABLE test_bucketing (id INT, desc STRING)
  PARTITIONED BY (day STRING)
  CLUSTERED BY(id) INTO 128 BUCKETS
  LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/';
  
  -- Using following LOCATION in EMR 5.x 
  LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';

  在 6.x EMR 和 5.x EMR 中插入相同的資料。

  INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data');
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');

  檢查 S3 位置，顯示儲存貯體檔案名稱不同，因為雜湊函數在 EMR 6.x （Hive 3） 和 5.x EMR （Hive 2） 之間不同。

  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/
  2020-10-21 20:35:16         13 000025_0
  2020-10-21 20:35:22         14 000121_0
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/
  2020-10-21 20:32:07         13 000066_0
  2020-10-21 20:32:51         14 000072_0
  

  您也可以在 6.x CLI的 Hive EMR 中執行下列命令來查看版本差異。請注意，它會傳回儲存貯體劃分版本 2。

  hive> DESCRIBE FORMATTED test_bucketing;
  ...
  Table Parameters:
      bucketing_version       2
  ...

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主要節點的叢集和 Kerberos 身分驗證，則可能會在叢集執行一段時間後遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

升級

• 升級 Amazon Glue 連接器至版本 1.13.0

• 已SDK將 Amazon SageMaker Spark 升級至 1.4.0 版

• 升級 Amazon Kinesis 連接器至版本 3.5.9

• AWS SDK for Java 已升級至 1.11.852 版

• 升級 Bigtop-tomcat 至版本 8.5.56

• 已將 EMR FS 升級至 2.43.0 版

• 已將EMR MetricsAndEventsApiGateway 用戶端升級至 1.4.0 版

• 已將 EMR S3 Dist CP 升級至 2.15.0 版

• 已將 EMR S3 Select 升級至 1.6.0 版

• 升級 Flink 至版本 1.11.0

• 升級 Hadoop 至版本 2.10.0

• 升級 Hive 至版本 2.3.7

• 升級 Hudi 至版本 0.6.0

• 升級 Hue 至版本 4.7.1

• JupyterHub 已升級至 1.1.0 版

• 升級 Mxnet 至版本 1.6.0

• 升級 OpenCV 至版本 4.3.0

• 升級 Presto 至版本 0.238.3

• TensorFlow 已升級至 2.1.0 版

變更、強化功能和已解決的問題

• 這是一個版本，用於在叢集無法成功擴展/縮減或導致應用程式失敗時，修正 Amazon EMR Scaling 的問題。

• 修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內常駐程式，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，因YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• Amazon 5.31.0 版及更新EMR版本支援 Hive 資料欄統計資料。

• 已升級元件版本。

• EMRFS Amazon 5.31.0 中的 S3EC V2 EMR 支援。在 S3 Java 1.11.837 版及更新SDK版本中，加密用戶端第 2 版 （S3EC V2） 已引入各種安全增強功能。如需詳細資訊，請參閱下列內容：

  • S3 部落格文章：《更新至 Amazon S3 加密用戶端》。

  • AWS SDK for Java 開發人員指南：將加密和解密用戶端遷移至 V2。

  • EMR 管理指南：Amazon S3 用戶端加密。

  加密用戶端 V1 在 中仍然可用，SDK以保持向後相容性。

新功能

• 較舊版本 AL2【已修正較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的 版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 透過 Amazon EMR 5.31.0，您可以啟動與 Lake Formation 整合的叢集。此整合為 AWS Glue Data Catalog 中的資料庫和資料表提供精細的資料欄層級資料篩選。它也啟用聯合單一登入，以從企業身分系統登入EMR筆記本或 Apache Zeppelin。如需詳細資訊，請參閱 Amazon 管理指南 中的將 Amazon EMR與 整合 AWS Lake Formation。 EMR

  Amazon EMR with Lake Formation 目前在 16 AWS 個區域提供：美國東部 （俄亥俄州和維吉尼亞北部）、美國西部 （加州北部和奧勒岡）、亞太區域 （孟買、首爾、新加坡、雪梨和東京）、加拿大 （中部）、歐洲 （法蘭克福、愛爾蘭、倫敦、巴黎和斯德哥爾摩）、南美洲 （聖保羅）。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

• 在使用 Amazon EMR 5.31.0 或 5.32.0 的叢集上啟用 AtRestEncryption 或 HDFS加密時，Hive 查詢會導致下列執行期例外狀況。

  TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

支援的應用程式

• AWS SDK for Java 1.11.828 版

• Flink 版本 1.11.0

• Ganglia 3.7.2 版

• Hadoop 版本 3.2.1-amzn-1

• HBase 2.2.5 版

• HBase-operator-tools 1.0.0

• HCatalog 3.1.2-amzn-0 版

• Hive 版本 3.1.2-amzn-1

• Hudi 版本 0.5.2-incubating

• Hue 版本 4.7.1

• JupyterHub 1.1.0 版

• Livy 版本 0.7.0

• MXNet 1.6.0 版

• Oozie 版本 5.2.0

• Phoenix 5.0.0 版

• Presto 版本 0.232

• PrestoSQL 338 版

• Spark 版本 3.0.0-amzn-0

• TensorFlow 2.1.0 版

• Zeppelin 版本 0.9.0-preview1

• Zookeeper 3.4.14 版

• 連接器與驅動程式：DynamoDB 連接器 4.14.0

新功能

• ARM 從 Amazon 5.30.0 EMR版和 Amazon 6.1.0 EMR版開始支援執行個體類型。

• 從 Amazon 6.1.0 版和 5.30.0 EMR版開始，支援 M6g 一般用途執行個體類型。如需詳細資訊，請參閱 Amazon EMR管理指南 中的支援的執行個體類型。

• 從 Amazon 5.23.0 EMR版開始，支援EC2置放群組功能作為多個主節點叢集的選項。目前，放置群組功能僅支援主節點類型，且 SPREAD 策略會套用至這些主節點。SPREAD 策略將一小組執行個體放置在單獨的基礎硬體上，以防止在發生硬體故障時遺失多個主節點。如需詳細資訊，請參閱 Amazon EMR管理指南 中的EMR與EC2放置群組整合。

• Managed Scaling – 使用 Amazon 6.1.0 EMR版，您可以啟用 Amazon EMR受管擴展，根據工作負載自動增加或減少叢集中的執行個體或單位數量。Amazon EMR會持續評估叢集指標，以進行擴展決策，以最佳化叢集的成本和速度。Managed Scaling 也適用於 Amazon 5.30.0 版及更新EMR版本，但 6.0.0 除外。如需詳細資訊，請參閱 Amazon EMR管理指南 中的擴展叢集資源。

• 6.1.0 支援 PrestoSQL EMR 338 版。如需詳細資訊，請參閱 Presto。

  • 6.1.0 EMR 及更新版本僅支援 PrestoSQL，不支援 EMR 6.0.0 或 EMR 5.x。

  • 應用程式名稱 Presto 繼續被用來在叢集上安裝 PrestoDB。若要在叢集上安裝 PrestoSQL，請使用應用程式名稱 PrestoSQL。

  • 您可以安裝 PrestoDB 或 Presto SQL，但無法在單一叢集上安裝兩者。如果在嘗試建立叢集時同時指定 PrestoDB 和 PrestoSQL，則會發生驗證錯誤，且叢集建立請求失敗。

  • 單一主機和 muti-master 叢集都支援 PrestoSQL。在多主機叢集上，執行 PrestoSQL 或 PrestoDB 需要外部 Hive 中繼存放區。請參閱具有多個主要節點的EMR叢集中支援的應用程式。

• ECR 搭配 Docker 的 Apache Hadoop 和 Apache Spark 的自動身分驗證支援：Spark 使用者可以使用 Docker Hub 和 Amazon Elastic Container Registry （Amazon ECR） 中的 Docker 映像來定義環境和程式庫相依性。

  使用 Amazon 6.x 設定 Docker EMR 並使用 Docker 執行 Spark 應用程式。

• EMR 支援 Apache Hive ACID交易：Amazon EMR 6.1.0 新增對 Hive ACID交易的支援，使其符合資料庫的ACID屬性。憑藉此功能，您可以在 Hive 受管資料表中使用 Amazon Simple Storage Service (Amazon S3) 中的資料來執行 INSERT, UPDATE, DELETE, 和 MERGE 操作。這是串流擷取、資料重述、使用 進行大量更新MERGE，以及緩慢變更維度等使用案例的重要功能。如需詳細資訊，包括組態範例和使用案例，請參閱 Amazon EMR支援 Apache Hive ACID交易。

變更、強化功能和已解決的問題

• 這是一個版本，用於修正 Amazon EMR Scaling 無法成功擴展/縮減叢集或導致應用程式失敗的問題。

• 修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內精靈，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，因YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• 6.0.0 EMR 不支援 Apache Flink，但 6.1.0 EMR 支援 Flink 1.11.0。這是首個正式支援 Hadoop 3 的 Flink 版本。請參閱 Apache Flink 1.11.0 版本公告。

• Ganglia 已從預設 EMR 6.1.0 套件套件中移除。

已知問題

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的 版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 重要

  Amazon EMR 6.1.0 和 6.2.0 包含可能嚴重影響所有 Hudi 插入、upsert 和刪除操作的效能問題。如果您計劃將 Hudi 與 Amazon EMR 6.1.0 或 6.2RPM.0 搭配使用，您應該聯絡 AWS 支援以取得修補的 Hudi。

• 如果您使用 spark.driver.extraJavaOptions和 設定自訂垃圾收集組態spark.executor.extraJavaOptions，這會導致驅動程式/執行器啟動失敗，EMR因為垃圾收集組態衝突。使用 6.1.0 EMR版，您應該為具有 屬性的驅動程式和執行程式指定自訂 Spark 垃圾收集組態，spark.driver.defaultJavaOptionsspark.executor.defaultJavaOptions改為 。在 Apache Spark 執行期環境中閱讀詳細資訊，並在 Amazon EMR 6.1.0 上設定 Spark 垃圾收集。

• 搭配使用 Pig 和 Oozie (並且在 Hue 中，因為 Hue 使用 Oozie 動作來執行 Pig 指令碼)，會發生原生 lzo 程式庫無法載入的錯誤。此錯誤訊息僅供參考，它不會阻止 Pig 執行。

• Hudi 並行性支援：Hudi 目前不支援並行寫入至單個 Hudi 資料表。此外，在新寫入器開始寫入前，Hudi 會復原進行中寫入器所做的任何變更。並行寫入可能會對此機制造成干擾，還會引入競爭條件，進而導致資料損毀。您應該確保在資料處理工作流程中，全程只有單個 Hudi 寫入器對 Hudi 資料表執行操作。Hudi 支援多個並行讀取器操作同一 Hudi 資料表。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

• Amazon EMR 6.1.0 中存在影響執行 Presto 的叢集的問題。經過較長的時間 （天數） 之後，叢集可能會擲回錯誤，例如「su： 無法 execute /bin/bash： Resource temporarily unavailable」或「頻道 0 上的shell 請求失敗」。此問題是由於內部 Amazon EMR 程序 （InstanceController） 產生過多的 Light Weight Processes （LWP），最終導致 Hadoop 使用者超過其 nproc 限制。這可防止使用者打開更多程序。此問題的解決方案是升級至 EMR 6.2.0。

支援的應用程式

• AWS SDK for Java 1.11.711 版

• Ganglia 3.7.2 版

• Hadoop 3.2.1 版

• HBase 2.2.3 版

• HCatalog 3.1.2 版

• Hive 3.1.2 版

• Hudi 0.5.0-incubating 版

• Hue 4.4.0 版

• JupyterHub 1.0.0 版

• Livy 0.6.0 版

• MXNet 1.5.1 版

• Oozie 5.1.0 版

• Phoenix 5.0.0 版

• Presto 0.230 版

• Spark 2.4.4 版

• TensorFlow 1.14.0 版

• Zeppelin 0.9.0 版-SNAPSHOT

• Zookeeper 3.4.14 版

• 連接器與驅動程式：DynamoDB 連接器 4.14.0

新功能

• YARN Docker 執行期支援 - Spark 任務等YARN應用程式現在可以在 Docker 容器的內容中執行。這可讓您在 Docker 映像中輕鬆定義相依性，而無需在 Amazon EMR叢集上安裝自訂程式庫。如需詳細資訊，請參閱使用 Amazon 6.0.0 設定 Docker 整合和使用 Docker 執行 Spark 應用程式。 EMR

• Hive LLAP Support - Hive 現在支援LLAP執行模式，以提高查詢效能。如需詳細資訊，請參閱使用 Hive LLAP。

變更、強化功能和已解決的問題

• 這是一個版本，用於修正 Amazon EMR Scaling 無法成功擴展/縮減叢集或導致應用程式失敗的問題。

• 修正當 Amazon 叢集EMR上常駐程式正在執行運作運作狀態檢查活動時，大型、高度使用叢集的擴展請求失敗的問題，例如收集YARN節點狀態和HDFS節點狀態。發生這種情況是因為叢集上精靈無法將節點的運作狀態資料傳遞給內部 Amazon EMR元件。

• 改善叢集EMR內精靈，以便在重複使用 IP 地址時正確追蹤節點狀態，以提高擴展操作期間的可靠性。

• SPARK-29683。修正因為 Spark 擔任的所有可用的節點被列入拒絕清單，而導致作業在叢集縮減規模期間失敗的問題。

• YARN-9011。已修正叢集嘗試擴展或縮減規模時，因YARN停用競爭條件而導致任務失敗的問題。

• 透過確保 Amazon 叢集EMR上常駐程式和 YARN/ 之間的節點狀態始終一致，修正叢集擴展期間的步驟或任務失敗問題HDFS。

• 已修正使用 Kerberos 身分驗證啟用之 Amazon EMR叢集的叢集操作，例如縮減規模和提交步驟失敗的問題。這是因為 Amazon 叢集EMR上常駐程式未更新 Kerberos 票證，這是與主節點上安全通訊HDFS/YARN執行的必要條件。

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• Amazon Linux

  • Amazon Linux 2 是 6.x EMR 版本系列的作業系統。

  • systemd 用於服務管理，而不是upstart使用 inAmazon Linux 1。

• Java 開發套件 （JDK）

  • Corretto JDK 8 是 JDK 6.x EMR 版本系列的預設值。

• Scala

  • Scala 2.12 可搭配 Apache Spark 與 Apache Livy 使用。

• Python 3

  • Python 3 現在是 中 Python 的預設版本EMR。

• YARN 節點標籤

  • 從 Amazon EMR 6.x 版本系列開始，YARN節點標籤功能預設為停用。根據預設，應用程式主程序可以在核心和任務節點上執行。您可以設定下列屬性來啟用YARN節點標籤功能： yarn.node-labels.enabled和 yarn.node-labels.am.default-node-label-expression。如需詳細資訊，請參閱了解主節點、核心節點和任務節點。

已知問題

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• Spark 互動式 shell，包括 PySpark、SparkR 和 spark-shell，不支援搭配其他程式庫使用 Docker。

• 若要將 Python 3 與 Amazon 6.0.0 EMR版搭配使用，您必須PATH新增至 yarn.nodemanager.env-whitelist。

• 當您使用 AWS Glue Data Catalog 作為 Hive 的中繼存放區時，不支援 Live Long 和 Process （LLAP） 功能。

• 搭配 Spark EMR 和 Docker 整合使用 Amazon 6.0.0 時，您需要將叢集中的執行個體設定為相同執行個體類型和相同數量的EBS磁碟區，以避免在使用 Docker 執行期提交 Spark 任務時失敗。

• 在 Amazon EMR 6.0.0 HBase中，Amazon S3 儲存模式會受到 HBASE-24286. 問題的影響。HBase 當叢集使用現有 S3 資料建立時，主伺服器無法初始化。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點的叢集和 Kerberos 身分驗證，則可能會在叢集執行一段時間後遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

變更、強化功能和已解決的問題

• 較新的 Amazon EMR版本會修正 Amazon AL2中較舊版本「開啟檔案上限」限制的問題EMR。Amazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本現在包含具有更高「最大開啟檔案」設定的永久修正。

• 修正執行個體控制器程序產生無限個程序的問題。

• 修正 Hue 無法執行 Hive 查詢，顯示「資料庫鎖定」訊息並阻止查詢執行的問題。

• 已修正 Spark 問題，以啟用更多任務在EMR叢集上同時執行。

• 修正在 Jupyter 伺服器中導致「過多檔案開放錯誤」的 Jupyter 筆記本問題。

• 修正叢集啟動時間的問題。

新功能

• Amazon 6.x EMR版和 5.30.1 版及更新EMR版本提供 Tez UI 和YARN時間軸伺服器持久性應用程式介面。一鍵式連結存取持久性應用程式歷史記錄可讓您快速存取任務歷史記錄，而無需透過SSH連線設定 Web 代理。作用中和已終止叢集的日誌會在應用程式結束後保留 30 天。如需詳細資訊，請參閱 Amazon EMR管理指南 中的檢視持久性應用程式使用者介面。

• EMR 筆記本執行APIs可用於透過指令碼或命令列執行EMR筆記本。在沒有 AWS 主控台的情況下啟動、停止、列出和描述EMR筆記本執行的功能可讓您以程式設計方式控制EMR筆記本。使用參數化筆記本儲存格，您可以將不同的參數值傳遞至筆記本，而不必為每組新的參數值建立筆記本複本。請參閱EMRAPI動作。如需範例程式碼，請參閱以程式設計方式執行EMR筆記本的範例命令。

已知問題

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• EMR 筆記本

  在 5.30.1 EMR版上，預設會停用可讓您在叢集主節點上安裝核心和其他 Python 程式庫的功能。如需有關此功能的詳細資訊，請參閱在叢集主節點上安裝核心和 Python 程式庫。

  若要啟用此功能，請執行下列操作：

  1. 請確定連接至 EMR Notebooks 服務角色的許可政策允許下列動作：

     elasticmapreduce:ListSteps

     如需詳細資訊，請參閱EMR筆記本的服務角色。

  2. 使用 AWS CLI 在設定EMR筆記本的叢集上執行步驟，如下列範例所示。Replace (取代) us-east-1 叢集所在的區域。如需詳細資訊，請參閱使用 AWS CLI將步驟新增至叢集。

     aws emr add-steps  --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
                             

• 受管擴展

  在未安裝 Presto 的情況下，5.30.0 和 5.30.1 叢集上的受管擴展操作可能會導致應用程式失敗，或致使統一執行個體群組或執行個體機群停留在 ARRESTED 狀態，尤其當縮減規模操作緊隨縱向擴展操作之後時。

  作為解決方法，當您使用 Amazon 5.30.0 和 5.30.1 EMR版建立叢集時，選擇 Presto 作為要安裝的應用程式，即使您的任務不需要 Presto。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點的叢集和 Kerberos 身分驗證，則可能會在叢集執行一段時間後遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

升級

• AWS SDK for Java 已升級至 1.11.759 版

• 已SDK將 Amazon SageMaker Spark 升級至 1.3.0 版

• 已將 EMR Record Server 升級至 1.6.0 版

• 升級 Flink 至 1.10.0 版

• 升級 Ganglia 至 3.7.2 版

• HBase 已升級至 1.4.13 版

• 升級 Hudi 至 0.5.2-incubating 版

• 升級 Hue 至 4.6.0 版

• JupyterHub 已升級至 1.1.0 版

• 升級 Livy 至 0.7.0-incubating 版

• 升級 Oozie 至 5.2.0 版

• 升級 Presto 至 0.232 版

• 升級 Spark 至 2.4.5 版

• 升級的連接器和驅動程式：Amazon Glue Connector 1.12.0；Amazon Kinesis Connector 3.5.0；EMRDynamoDB Connector 4.14.0

新功能

• EMR 筆記本 – 與使用 5.30.0 建立的EMR叢集搭配使用時，EMR筆記本核心會在叢集上執行。如此可改善筆記型電腦的效能，並可讓您安裝和自訂核心。您也可以在叢集主節點上安裝 Python 程式庫。如需詳細資訊，請參閱 EMR管理指南 中的安裝和使用核心和程式庫。

• 受管擴展 – 使用 Amazon 5.30.0 版及更新EMR版本，您可以啟用EMR受管擴展，根據工作負載自動增加或減少叢集中的執行個體或單位數量。Amazon EMR會持續評估叢集指標，以進行擴展決策，以最佳化叢集的成本和速度。如需詳細資訊，請參閱 Amazon EMR管理指南 中的擴展叢集資源。

• 加密存放在 Amazon S3 中的日誌檔案 – 使用 Amazon 5.30.0 版及更新EMR版本，您可以使用 AWS KMS 客戶受管金鑰加密存放在 Amazon S3 中的日誌檔案。如需詳細資訊，請參閱 Amazon 管理指南 中的加密存放在 Amazon S3 中的日誌檔案。 EMR

• Amazon Linux 2 支援 – 在 5.30.0 版及更新EMR版本中，EMR usesAmazon Linux 2 作業系統。新的自訂 AMIs（Amazon Machine Image） 必須基於 theAmazon Linux 2 AMI。如需詳細資訊，請參閱使用自訂 AMI。

• Presto Graceful Auto Scale – 使用 5.30.0 的EMR叢集可以使用自動擴展逾時期間設定，讓 Presto 任務有時間在節點停用之前完成執行。如需詳細資訊，請參閱使用 Presto 自動擴展搭配逐漸除役。

• 使用新的配置策略選項建立機群執行個體 – 5.12.1 版及更新EMR版本提供新的配置策略選項。它提供更快的叢集佈建、更準確的 Spot 分配，並減少 Spot 執行個體中斷。需要更新非預設EMR服務角色。請參閱設定執行個體機群。

• sudo systemctl 停止和 sudo systemctl 啟動命令 – 在 5.30.0 版及更新EMR版本中， useAmazon Linux 2 作業系統EMR使用 sudo systemctl stop和 sudo systemctl start命令來重新啟動服務。如需詳細資訊，請參閱如何在 Amazon 中重新啟動服務EMR？

變更、強化功能和已解決的問題

• EMR 5.30.0 版預設不會安裝 Ganglia。建立叢集時，您可明確選擇 Ganglia 來安裝。

• Spark 效能最佳化。

• Presto 效能最佳化。

• Python 3 是 Amazon 5.30.0 版及更新EMR版本的預設值。

• 私有子網路中用來存取服務的預設受管安全群組，已經以新的規則更新。若您使用自訂安全群組來存取服務，就必須納入與預設受管安全群組相同的規則。如需詳細資訊，請參閱 Amazon EMR受管安全群組的服務存取 （私有子網路）。如果您使用 Amazon 的自訂服務角色EMR，您必須授予 許可，ec2:describeSecurityGroups以便 EMR 可以驗證安全群組是否正確建立。若您使用 EMR_DefaultRole，則預設受管政策已納入此許可。

已知問題

• 較舊版本 AL2【修正為較新版本】 的「開啟檔案上限」下限。Amazon EMR版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 是以 ofAmazon Linux 2 （AL2） 的較舊版本為基礎，當 Amazon EMR叢集使用預設 建立時，其「最大開啟檔案」的 ulimit 設定較低。 AMIAmazon EMR5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更新版本包含具有較高「最大開啟檔案」設定的永久修正。提交 Spark 作業時，開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響的版本中，Amazon EMR 預設AMI的預設 ulimit 設定為 4096，表示「開啟的檔案上限」低於 latestAmazon Linux 2 中的 65536 檔案限制AMI。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時，「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。若要修正此問題，Amazon EMR有一個引導動作 （BA） 指令碼，可在叢集建立時調整 ulimit 設定。

  如果您使用的是沒有此問題永久修正的舊 Amazon EMR版本，則下列解決方法可讓您明確將執行個體控制器的模擬值設定為最多 65536 個檔案。

  從命令列明確設定 ulimit

  1. 編輯 /etc/systemd/system/instance-controller.service 以新增下列參數至「服務」區段。

     LimitNOFILE=65536

     LimitNPROC=65536

  2. 重新啟動 InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  使用引導操作 (BA) 設定 ulimit

  您還可以使用引導操作 (BA) 指令碼，在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• 受管擴展

  在未安裝 Presto 的情況下，5.30.0 和 5.30.1 叢集上的受管擴展操作可能會導致應用程式失敗，或致使統一執行個體群組或執行個體機群停留在 ARRESTED 狀態，尤其當縮減規模操作緊隨縱向擴展操作之後時。

  作為解決方法，當您使用 Amazon 5.30.0 和 5.30.1 EMR版建立叢集時，選擇 Presto 作為要安裝的應用程式，即使您的任務不需要 Presto。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點的叢集和 Kerberos 身分驗證，則可能會在叢集執行一段時間後遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

• Hue 4.6.0 的預設資料庫引擎為 SQLite，當您嘗試將 Hue 與外部資料庫搭配使用時，會導致問題。若要修正此問題，請將 hue-ini 組態分類中的 engine 設定為 mysql。此問題已在 Amazon 5.30.1 EMR版中修正。

• 當您使用 Spark 搭配 Hive 分割區位置格式來讀取 Amazon S3 中的資料時，並在 Amazon EMR版本 5.30.0 至 5.36.0，以及 6.2.0 至 6.9.0 上執行 Spark 時，您可能會遇到問題，導致叢集無法正確讀取資料。如果您的分割區具有以下所有特性，便會發生此種情形：

  • 兩個或更多分割區從同一資料表掃描而來。

  • 至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首，例如，s3://bucket/table/p=a 是 s3://bucket/table/p=a b 的字首。

  • 另一個分割區目錄中字首後面的第一個字元具有小於 / 字元 （U+002F） 的 UTF-8 值。例如，s3://bucket/table/p=a b 中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元：!"#$%&‘()*+,-。如需詳細資訊，請參閱 UTF-8 編碼資料表和 Unicode 字元 。

  若要避免發生此問題，請在 spark-defaults 分類中將 spark.sql.sources.fastS3PartitionDiscovery.enabled 組態設定為 false。

升級

• AWS SDK for Java 已升級至 1.11.682 版

• 升級 Hive 至 2.3.6 版

• 升級 Flink 至版本 1.9.1

• 升級 EmrFS 至版本 2.38.0

• 已將 EMR DynamoDB 連接器升級至 4.13.0 版

變更、強化功能和已解決的問題

• Spark

  • Spark 效能最佳化。

• EMRFS

  • 《管理指南》針對一致檢視 emrfs-site.xml 預設設定的更新。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

變更、強化功能和已解決的問題

• Spark

  • 修正了 Spark 相容性問題。

• CloudWatch 指標

  • 已修正在具有多個主要節點的EMR叢集上發佈的 Amazon CloudWatch 指標。

• 已停用日誌訊息

  • 已停用錯誤的日誌訊息，「…正使用舊版本 (<4.5.8) Apache http 用戶端。」

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• 升級 Flink 至 1.9.0 版

• 升級 Hive 至 2.3.6 版

• MXNet 已升級至 1.5.1 版

• 升級 Phoenix 至 4.14.3 版

• 升級 Presto 至 0.227 版

• 升級 Zeppelin 至 0.8.2 版

新功能

• 當您建立叢集時EMR，Amazon 現在可以安裝 Apache Hudi。如需詳細資訊，請參閱Hudi。

• (2019 年 11 月 25 日) 現在您可以選擇同時執行多個步驟，以改善叢集使用率及節省成本。您也可以一併取消待定和執行中的步驟。如需詳細資訊，請參閱使用 AWS CLI 和主控台 的步驟。

• （2019 年 12 月 3 日） 您現在可以在 上建立和執行EMR叢集 AWS Outposts。在內部部署設施中 AWS Outposts 啟用原生 AWS 服務、基礎設施和操作模型。在 AWS Outposts 環境中，您可以使用與 AWS 雲端相同的 、 AWS APIs工具和基礎設施。如需詳細資訊，請參閱 EMR 上的叢集 AWS Outposts。

• （2020 年 3 月 11 日） 從 Amazon 5.28.0 EMR版開始，您可以在 AWS Local Zones 子網路上建立和執行 Amazon EMR叢集，作為支援 Local Zones AWS 的區域邏輯延伸。本機區域可讓 Amazon EMR功能和運算和儲存 AWS 服務等服務子集更接近使用者，為本機執行的應用程式提供極低延遲存取。如需可用的 Local Zones 清單，請參閱 AWS Local Zones。如需存取可用 AWS 本機區域的相關資訊，請參閱區域、可用區域和本機區域 。

  本機區域目前不支援 Amazon EMR Notebook，也不支援EMR使用介面VPC端點 （AWS PrivateLink） 直接連線至 Amazon。

變更、強化功能和已解決的問題

• 擴大應用程式支援，以提供高可用性叢集

  • 如需詳細資訊，請參閱 Amazon EMR管理指南 中的具有多個主要節點的EMR叢集中支援的應用程式。

• Spark

  • 效能最佳化

• Hive

  • 效能最佳化

• Presto

  • 效能最佳化

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• AWS SDK for Java 1.11.615

• Flink 1.8.1

• JupyterHub 1.0.0

• Spark 2.4.4

• Tensorflow 1.14.0

• 連接器和驅動程式：

  • DynamoDB 連接器 4.12.0

新功能

• （2019 年 10 月 24 日） 下列EMR筆記本中的新功能適用於所有 Amazon EMR版本。

  • 您現在可以將 Git 儲存庫與EMR筆記本建立關聯，將筆記本存放在版本控制的環境中。您可以透過遠端 Git 儲存庫與同儕共用程式碼，並重複使用現有的 Jupyter 筆記本。如需詳細資訊，請參閱 Amazon 管理指南 中的將 Git 儲存庫與 Amazon EMR Notebook 建立關聯。 EMR

  • nbdime 公用程式現在可在EMR筆記本中使用，以簡化筆記本的比較和合併。

  • EMR 筆記本現在支援 JupyterLab。 JupyterLab 是與 Jupyter 筆記本完全相容的 Web 型互動式開發環境。您現在可以選擇在 JupyterLab 或 Jupyter 筆記本編輯器中開啟筆記本。

• （2019 年 10 月 30 日） 使用 Amazon 5.25.0 版及更新EMR版本，您可以從叢集摘要頁面或主控台的應用程式歷史記錄索引標籤連線至 Spark 歷史記錄伺服器使用者介面。您可以快速存取 Spark 歷史記錄伺服器 UI 來檢視應用程式指標，並存取作用中和已終止叢集的相關日誌檔案，而不是透過SSH連線設定 Web 代理。如需詳細資訊，請參閱 Amazon EMR管理指南 中的叢集外持久性應用程式使用者介面存取權。

變更、強化功能和已解決的問題

• 具有多個主要節點的 Amazon EMR叢集

  • 您可以在具有多個主要節點的 Amazon EMR叢集上安裝和執行 Flink。如需詳細資訊，請參閱支援的功能和區域。

  • 您可以在具有多個主要節點的 Amazon EMR叢集上設定HDFS透明加密。如需詳細資訊，請參閱HDFS具有多個主要節點的EMR叢集上的透明加密。

  • 您現在可以修改在具有多個主節點的 Amazon EMR叢集上執行的應用程式組態。如需詳細資訊，請參閱為執行中叢集的執行個體群組提供組態。

• Amazon EMR-DynamoDB 連接器

  • Amazon EMR-DynamoDB Connector 現在支援下列 DynamoDB 資料類型：布林值、清單、地圖、項目、 null。如需詳細資訊，請參閱設定 Hive 資料表以執行 Hive 命令。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• AWS SDK for Java 1.11.595

• HBase 1.4.10

• Phoenix 4.14.2

• 連接器和驅動程式：

  • DynamoDB 連接器 4.11.0

  • MariaDB 連接器 2.4.2

  • Amazon Redshift JDBC驅動程式 1.2.32.1056

新功能

• （Beta） 使用 Amazon EMR 5.26.0，您可以啟動與 Lake Formation 整合的叢集。此整合提供精細的資料欄層級存取 AWS Glue Data Catalog 中的資料庫和資料表。它也啟用聯合單一登入，以從企業身分系統登入EMR筆記本或 Apache Zeppelin。如需詳細資訊，請參閱整合 Amazon EMR與 AWS Lake Formation （Beta）。

• （2019 年 8 月 19 日） Amazon EMR區塊公有存取現在可用於支援安全群組的所有 Amazon EMR版本。封鎖公開存取是套用於每個 AWS 區域的全帳戶設定。封鎖公有存取可防止叢集在與叢集相關聯的任何安全群組具有允許連接埠上 0.0.0.0/0 IPv4 或 IPv6 ：：/0 （公有存取） 傳入流量的規則時啟動叢集，除非連接埠指定為例外狀況。連接埠 22 預設為例外。如需詳細資訊，請參閱 Amazon 管理指南 中的使用 Amazon EMR Block Public Access。 EMR

變更、強化功能和已解決的問題

• EMR 筆記本

  • 使用 EMR 5.26.0 及更新版本，EMR筆記本除了預設 Python 程式庫之外，還支援筆記本範圍的 Python 程式庫。您可以從筆記本編輯器中安裝筆記本範圍程式庫，而不必重新建立叢集或將筆記本重新附接至叢集。筆記本範圍程式庫是在 Python 虛擬環境中建立的，因此它們僅套用至目前的筆記本工作階段。這可讓您隔離筆記本的相依性。如需詳細資訊，請參閱 Amazon EMR管理指南 中的使用筆記本範圍程式庫。

• EMRFS

  • 您可以將 fs.s3.consistent.metadata.etag.verification.enabled設定為 以啟用ETag驗證功能 （Beta）true。透過此功能， EMRFS使用 Amazon S3 來ETags驗證正在讀取的物件是否為最新的可用版本。此功能有助於 read-after-update在保留相同名稱的同時覆寫 Amazon S3 上的檔案的使用案例。此ETag驗證功能目前不適用於 S3 Select。如需詳細資訊，請參閱設定一致檢視。

• Spark

  • 下列最佳化現在預設為啟用：在 DISTINCT之前進行動態分割區剪除INTERSECT、改善 的SQL計畫統計推論JOIN，隨後進行DISTINCT查詢、扁平化純量子查詢、最佳化聯結重新排序和繁複篩選聯結。如需詳細資訊，請參閱優化 Spark 效能。

  • 為「排序、合併、聯結」改進整階段程式碼產生。

  • 改進查詢片段和子查詢重複使用。

  • 對 Spark 啟動時的預先分配執行器進行改進。

  • 當聯結較小一側包含廣播提示時，不會再套用 Bloom 篩選條件聯結。

• Tez

  • 解決一個 Tez 問題。Tez UI 現在可在具有多個主要節點的 Amazon EMR叢集上運作。

已知問題

• 改進後的「排序、合併、聯結」整階段程式碼產生功能在啟用時可能升高記憶體壓力。此優化可改善效能，但如果未調整 spark.yarn.executor.memoryOverheadFactor 以提供足夠的記憶體，則可能會導致作業重試或失敗。若要停用此功能，請將 spark.sql.sortMergeJoinExec.extendedCodegen.enabled 設為 false。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• AWS SDK for Java 1.11.566

• Hive 2.3.5

• Presto 0.220

• Spark 2.4.3

• TensorFlow 1.13.1

• Tez 0.9.2

• Zookeeper 3.4.14

新功能

• （2019 年 10 月 30 日） 從 Amazon 5.25.0 EMR版開始，您可以從叢集摘要頁面或主控台的應用程式歷史記錄索引標籤連線至 Spark 歷史記錄伺服器使用者介面。您可以快速存取 Spark 歷史記錄伺服器 UI 來檢視應用程式指標，並存取作用中和已終止叢集的相關日誌檔案，而不是透過SSH連線設定 Web 代理。如需詳細資訊，請參閱 Amazon EMR管理指南 中的叢集外存取持久性應用程式使用者介面。

變更、強化功能和已解決的問題

• Spark

  • 使用 Bloom 篩選條件預先篩選輸入，從而改進部分聯結的效能。優化預設被停用，但可透過將 Spark 組態參數 spark.sql.bloomFilterJoin.enabled 設為 true 啟用。

  • 改進依字串類型欄分組的效能。

  • 改善未HBase安裝之叢集 R4 執行個體類型的預設 Spark 執行器記憶體和核心組態。

  • 解決先前的動態分割區剔除功能問題，此問題導致剔除的資料表必須位於聯結的左側。

  • 在INTERSECT最佳化DISTINCT之前已改進，以套用至涉及別名的其他案例。

  • 改進了 的SQL計畫統計資料推論，JOIN後面接著DISTINCT查詢。此改進預設被停用，但可透過將 Spark 組態參數 spark.sql.statsImprovements.enabled 設為 true 啟用。此優化為 Intersect 前的 Distinct 所需，並且將在 spark.sql.optimizer.distinctBeforeIntersect.enabled 設為 true 時自動啟用。

  • 依據資料表大小和篩選條件優化聯結順序。此優化預設被停用，但可透過將 Spark 組態參數 spark.sql.optimizer.sizeBasedJoinReorder.enabled 設為 true 啟用。

  如需詳細資訊，請參閱優化 Spark 效能。

• EMRFS

  • EMRFS 設定 fs.s3.buckets.create.enabled預設為停用。經過測試，我們發現停用此設定可改進效能，並防止意外建立 S3 儲存貯體。如果您的應用程式依賴此功能，您可以透過在 emrfs-site 組態分類中將屬性 fs.s3.buckets.create.enabled 設定為 true 以便啟用它。如需有關資訊，請參閱在建立叢集時提供組態。

• 安全組態中的本機磁碟加密和 S3 加密改進 (2019 年 8 月 5 日)

  • 在安全組態設定中分開設定 Amazon S3 加密和本機磁碟加密。

  • 新增了啟用 5.24.0 版及更新版本EBS加密的選項。除儲存磁碟區以外，選取此選項還將加密根裝置磁碟區。使用自訂AMI加密根裝置磁碟區所需的先前版本。

  • 如需詳細資訊，請參閱 Amazon EMR管理指南 中的加密選項。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

變更、強化功能和已解決的問題

• 更新 Amazon 的預設 AMI Amazon LinuxEMR，以包含重要的 Linux 核心安全更新，包括TCPSACK拒絕服務問題 （AWS-2019-005）。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• Flink 1.8.0

• Hue 4.4.0

• JupyterHub 0.9.6

• Livy 0.6.0

• MxNet 1.4.0

• Presto 0.219

• Spark 2.4.2

• AWS SDK for Java 1.11.546

• 連接器和驅動程式：

  • DynamoDB 連接器 4.9.0

  • MariaDB 連接器 2.4.1

  • Amazon Redshift JDBC驅動程式 1.2.27.1051

變更、強化功能和已解決的問題

• Spark

  • 新增動態剔除分割區優化。預設會停用最佳化。若要啟用它，請將 Spark 組態參數 spark.sql.dynamicPartitionPruning.enabled 設為 true。

  • 改進 INTERSECT 查詢的效能。預設會停用此最佳化。若要啟用它，請將 Spark 組態參數 spark.sql.optimizer.distinctBeforeIntersect.enabled 設為 true。

  • 新增優化，以使用相同關係的彙總扁平化純量子查詢。預設會停用最佳化。若要啟用它，請將 Spark 組態參數 spark.sql.optimizer.flattenScalarSubqueriesWithAggregates.enabled 設為 true。

  • 改進整階段程式碼產生。

  如需詳細資訊，請參閱優化 Spark 效能。

• 安全組態中的本機磁碟加密和 S3 加密改進 (2019 年 8 月 5 日)

  • 在安全組態設定中分開設定 Amazon S3 加密和本機磁碟加密。

  • 新增啟用EBS加密的選項。除儲存磁碟區以外，選取此選項還將加密根裝置磁碟區。使用自訂AMI加密根裝置磁碟區所需的先前版本。

  • 如需詳細資訊，請參閱 Amazon EMR管理指南 中的加密選項。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• AWS SDK for Java 1.11.519

新功能

• （2019 年 4 月 30 日） 使用 Amazon EMR 5.23.0 及更新版本，您可以啟動具有三個主要節點的叢集，以支援 YARN Resource Manager、、HDFS NameNodeSpark、Hive 和 Ganglia 等應用程式的高可用性。主節點已不再是此功能潛在的單點故障。如果其中一個主要節點失敗，Amazon EMR會自動容錯移轉至待命主要節點，並以具有相同組態和引導動作的新節點取代失敗的主要節點。如需詳細資訊，請參閱規劃和設定主節點。

已知問題

• Tez UI （修正於 Amazon 5.26.0 EMR版）

  Tez UI 無法在具有多個主要節點的EMR叢集上運作。

• Hue （修正於 Amazon 5.24.0 EMR版）

  • 在 Amazon 上執行的 Hue EMR不支援 Solr。從 Amazon 5.20.0 EMR版開始，錯誤設定問題會導致 Solr 啟用，並顯示無害錯誤訊息，如下所示：

    Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

    若要避免出現 Solr 錯誤訊息：

    1. 使用 連線至主要節點命令列SSH。

    2. 使用文字編輯器開啟 hue.ini 檔案。例如：

       sudo vim /etc/hue/conf/hue.ini

    3. 搜尋 appblacklist 一詞並如下方所示修改該列：

       appblacklist = search

    4. 儲存變更並重新啟動 Hue，如以下範例所示：

       sudo stop hue; sudo start hue

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• Flink 1.7.1

• HBase 1.4.9

• Oozie 5.1.0

• Phoenix 4.14.1

• Zeppelin 0.8.1

• 連接器和驅動程式：

  • DynamoDB 連接器 4.8.0

  • MariaDB 連接器 2.2.6

  • Amazon Redshift JDBC驅動程式 1.2.20.1043

新功能

• 已使用EBS僅限 的儲存體修改EC2執行個體類型的預設EBS組態。當您使用 Amazon 5.22.0 版及更新EMR版本建立叢集時，預設的EBS儲存量會根據執行個體的大小而增加。此外，我們在多個磁碟區中分割增加的儲存空間，從而提高IOPS效能。如果您想要使用不同的EBS執行個體儲存組態，您可以在建立EMR叢集或將節點新增至現有叢集時指定它。如需每個執行個體類型預設配置的儲存體數量和磁碟區數量的詳細資訊，請參閱 Amazon EMR管理指南 中的執行個體預設EBS儲存體。

變更、強化功能和已解決的問題

• Spark

  • 在 YARN、 上為 Spark 引入了新的組態屬性spark.yarn.executor.memoryOverheadFactor。此屬性的值是一個縮放比例，可將記憶體超額使用的值設為執行器記憶體的某個百分比，最小為 384 MB。若使用 spark.yarn.executor.memoryOverhead 明確設定記憶體超額使用，此屬性不會發生作用。預設值為 0.1875，表示 18.75%。Amazon 的這項預設值會為執行器記憶體額外負荷EMR保留比 Spark 內部設定的 10% 預設值更多的YARN容器空間。Amazon EMR預設值 18.75% 的經驗顯示 TPC-DS 基準中的記憶體相關故障較少。

  • 後端 SPARK-26316 可改善效能。

• 在 Amazon 5.19.0、5.20.0 和 5.21.0 EMR版中，YARN節點標籤會儲存在HDFS目錄中。在某些情況下，這會導致核心節點啟動延遲，然後造成叢集逾時與啟動失敗。從 Amazon EMR 5.22.0 開始，此問題已解決。YARN 節點標籤存放在每個叢集節點的本機磁碟上，避免依賴 HDFS。

已知問題

• Hue （修正於 Amazon 5.24.0 EMR版）

  • 在 Amazon 上執行的 Hue EMR不支援 Solr。從 Amazon 5.20.0 EMR版開始，錯誤設定問題會導致 Solr 啟用，並顯示無害錯誤訊息，如下所示：

    Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

    若要避免出現 Solr 錯誤訊息：

    1. 使用 連線至主要節點命令列SSH。

    2. 使用文字編輯器開啟 hue.ini 檔案。例如：

       sudo vim /etc/hue/conf/hue.ini

    3. 搜尋 appblacklist 一詞並如下方所示修改該列：

       appblacklist = search

    4. 儲存變更並重新啟動 Hue，如以下範例所示：

       sudo stop hue; sudo start hue

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

變更、強化功能和已解決的問題

• 更新 Amazon 的預設 AMI Amazon LinuxEMR，以包含重要的 Linux 核心安全更新，包括TCPSACK拒絕服務問題 （AWS-2019-005）。

已知問題

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• Flink 1.7.0

• Presto 0.215

• AWS SDK for Java 1.11.479

新功能

• （2019 年 4 月 3 日） 使用 Amazon 5.21.0 版及更新EMR版本，您可以覆寫叢集組態，並為執行中的叢集中的每個執行個體群組指定其他組態分類。您可以使用 Amazon EMR主控台、 AWS Command Line Interface （AWS CLI） 或 來執行此操作 AWS SDK。如需詳細資訊，請參閱為執行中叢集的執行個體群組提供組態。

變更、強化功能和已解決的問題

• Zeppelin

  • 已回溯 ZEPPELIN-3878。

已知問題

• Hue （修正於 Amazon 5.24.0 EMR版）

  • 在 Amazon 上執行的 Hue EMR不支援 Solr。從 Amazon 5.20.0 EMR版開始，錯誤設定問題會導致 Solr 啟用，並顯示無害錯誤訊息，如下所示：

    Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

    若要避免出現 Solr 錯誤訊息：

    1. 使用 連線至主要節點命令列SSH。

    2. 使用文字編輯器開啟 hue.ini 檔案。例如：

       sudo vim /etc/hue/conf/hue.ini

    3. 搜尋 appblacklist 一詞並如下方所示修改該列：

       appblacklist = search

    4. 儲存變更並重新啟動 Hue，如以下範例所示：

       sudo stop hue; sudo start hue

• Tez

  • 此問題已在 Amazon 5.22.0 EMR 中修正。

    當您連線至 http：// 的 Tez UI 時MasterDNS：8080/tez-ui 透過SSH連線至叢集主節點，錯誤「轉接器操作失敗 - 時間軸伺服器 （ATS） 無法連線。它已關閉，或未CORS啟用"，或任務意外顯示 N/A。

    這是由於 Tez UI 使用 localhost 而非主要節點的主機名稱向YARN時間軸伺服器提出請求所致。此時可執行一段指令碼作為引導操作或步驟來解決該問題。該指令碼會更新 Tez configs.env 檔案中的主機名稱。如需詳細資料以及指令碼的所在位置，請參閱引導指示。

• 在 Amazon 5.19.0、5.20.0 和 5.21.0 EMR版中，YARN節點標籤會儲存在HDFS目錄中。在某些情況下，這會導致核心節點啟動延遲，然後造成叢集逾時與啟動失敗。從 Amazon EMR 5.22.0 開始，此問題已解決。YARN 節點標籤存放在每個叢集節點的本機磁碟上，避免依賴 HDFS。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• Flink 1.6.2

• HBase 1.4.8

• Hive 2.3.4

• Hue 4.3.0

• MXNet 1.3.1

• Presto 0.214

• Spark 2.4.0

• TensorFlow 1.12.0

• Tez 0.9.1

• AWS SDK for Java 1.11.461

新功能

• （2019 年 1 月 22 日） Amazon 中的 Kerberos EMR 已改進，以支援從外部 對主體進行身分驗證KDC。這會集中管理主體，因為多個叢集可以共用單一的外部 KDC。此外，外部KDC可以具有與 Active Directory 網域的跨領域信任。這可讓所有叢集為 Active Directory 的主體進行身分驗證。如需詳細資訊，請參閱 Amazon EMR管理指南 中的使用 Kerberos 身分驗證。

變更、強化功能和已解決的問題

• Amazon AMI的預設 Amazon Linux EMR

  • Python3 套件從 python 3.4 升級至 3.6。

• EMRFS S3-optimized遞交者

  • EMRFS S3-optimized遞交者現在預設為啟用，可改善寫入效能。如需詳細資訊，請參閱使用 EMRFS S3-optimized遞交者。

• Hive

  • 已回溯 HIVE-16686。

• Glue 搭配 Spark 和 Hive

  • 在 EMR 5.20.0 或更新版本中，當 AWS Glue Data Catalog 用作中繼存放區時，Spark 和 Hive 會自動啟用平行分割區刪除。這項變更會平行執行多個請求來擷取分割區，從而大幅縮短查詢規劃時間。可同時執行的區段總數範圍介於 1 到 10 之間。預設值為 5，此為建議設定。您可以在 hive-site 組態分類中指定屬性 aws.glue.partition.num.segments 加以變更。如果發生限流，您可以透過將值變更為 1 以關閉該功能。如需詳細資訊，請參閱 AWS Glue 區段結構。

已知問題

• Hue （修正於 Amazon 5.24.0 EMR版）

  • 在 Amazon 上執行的 Hue EMR不支援 Solr。從 Amazon 5.20.0 EMR版開始，錯誤設定問題會導致 Solr 啟用，並顯示無害錯誤訊息，如下所示：

    Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

    若要避免出現 Solr 錯誤訊息：

    1. 使用 連線至主要節點命令列SSH。

    2. 使用文字編輯器開啟 hue.ini 檔案。例如：

       sudo vim /etc/hue/conf/hue.ini

    3. 搜尋 appblacklist 一詞並如下方所示修改該列：

       appblacklist = search

    4. 儲存變更並重新啟動 Hue，如以下範例所示：

       sudo stop hue; sudo start hue

• Tez

  • 此問題已在 Amazon 5.22.0 EMR 中修正。

    當您連線至 http：// 的 Tez UI 時MasterDNS：8080/tez-ui 透過SSH連線至叢集主節點，錯誤「轉接器操作失敗 - 時間軸伺服器 （ATS） 無法連線。它已關閉，或未CORS啟用"，或任務意外顯示 N/A。

    這是由於 Tez UI 使用 localhost 而非主要節點的主機名稱向YARN時間軸伺服器提出請求所致。此時可執行一段指令碼作為引導操作或步驟來解決該問題。該指令碼會更新 Tez configs.env 檔案中的主機名稱。如需詳細資料以及指令碼的所在位置，請參閱引導指示。

• 在 Amazon 5.19.0、5.20.0 和 5.21.0 EMR版中，YARN節點標籤會儲存在HDFS目錄中。在某些情況下，這會導致核心節點啟動延遲，然後造成叢集逾時與啟動失敗。從 Amazon EMR 5.22.0 開始，此問題已解決。YARN 節點標籤存放在每個叢集節點的本機磁碟上，避免依賴 HDFS。

• 使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題

  如果您在 Amazon 5.20.0 版及更新EMR版本中執行具有多個主節點和 Kerberos 身分驗證的叢集，在叢集執行一段時間之後，您可能會遇到叢集操作的問題，例如縮減規模或提交步驟。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。

  解決方法：

  • SSH 作為具有多個主要節點之EMR叢集的主要節點hadoop的使用者。

  • 執行以下命令，以更新 hadoop 使用者的 Kerberos 票證。

    kinit -kt <keytab_file> <principal>

    一般而言，Keytab 檔案位於 /etc/hadoop.keytab，而主體則採用 hadoop/<hostname>@<REALM> 的形式。

  注意

  此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時，但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期，您必須重新執行上述命令。

升級

• Hadoop 2.8.5

• Flink 1.6.1

• JupyterHub 0.9.4

• MXNet 1.3.0

• Presto 0.212

• TensorFlow 1.11.0

• Zookeeper 3.4.13

• AWS SDK for Java 1.11.433

新功能

• （2018 年 11 月 19 日） EMR 筆記本是以 Jupyter Notebook 為基礎的受管環境。它支援適用於 PySpark、Spark SQL、Spark R 和 Scala 的 Spark 魔術核心。EMR 筆記本可與使用 Amazon 5.18.0 版及更新EMR版本建立的叢集搭配使用。如需詳細資訊，請參閱 Amazon EMR管理指南 中的使用EMR筆記本。

• 使用 Spark 和 撰寫 Parquet 檔案時，可以使用 EMRFS S3-optimized遞交器EMRFS。此遞交者可改進寫入效能。如需詳細資訊，請參閱使用 EMRFS S3-optimized遞交者。

變更、強化功能和已解決的問題

• YARN

  • 修改限制應用程式主程序在核心節點上執行的邏輯。此功能現在使用 和 capacity-scheduler組態分類中的YARN節點標籤功能yarn-site和屬性。如需相關資訊，請參閱https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.。

• Amazon AMI的預設 Amazon Linux EMR

  • 預設不再安裝 ruby18、php56 和 gcc48。視需要，可使用 yum 安裝它們。

  • 預設不再安裝 aws-sdk ruby gem。視需要，可使用 gem install aws-sdk 進行安裝。您還可以安裝特定元件。例如：gem install aws-sdk-s3。

已知問題

• EMR 筆記本：在某些情況下，開啟多個筆記本編輯器時，筆記本編輯器可能似乎無法連線至叢集。如果發生此情況，請清除瀏覽器 Cookie，然後重新打開筆記本編輯器。

• CloudWatch ContainerPending 指標和自動擴展 — （修正於 5.20.0）Amazon EMR可能會為 發出負值。 ContainerPending若在自動擴展規則中使用 ContainerPending，自動擴展不會如預期運作。避免搭配使用 ContainerPending 和自動擴展。

• 在 Amazon 5.19.0、5.20.0 和 5.21.0 EMR版中，YARN節點標籤會儲存在HDFS目錄中。在某些情況下，這會導致核心節點啟動延遲，然後造成叢集逾時與啟動失敗。從 Amazon EMR 5.22.0 開始，此問題已解決。YARN 節點標籤存放在每個叢集節點的本機磁碟上，避免依賴 HDFS。

升級

• Flink 1.6.0

• HBase 1.4.7

• Presto 0.210

• Spark 2.3.2

• Zeppelin 0.8.0

新功能

• 從 Amazon EMR 5.18.0 開始，您可以使用 Amazon EMR成品儲存庫，根據特定 Amazon EMR版本可用的確切程式庫版本和相依性來建置您的任務代碼。如需詳細資訊，請參閱使用 Amazon EMR 成品儲存庫檢查相依性。

變更、強化功能和已解決的問題

• Hive

  • 新增對 S3 Select 的支援。如需詳細資訊，請參閱將 S3 Select 與 Hive 搭配使用以提升效能。

• Presto

  • 新增對 S3 Select Pushdown 的支援。如需詳細資訊，請參閱使用 S3 Select Pushdown 搭配 Presto 以提升效能。

• Spark

  • Spark 的預設 log4j 組態已變更為每小時針對 Spark 串流作業轉返容器日誌。這有助於防止刪除長時間執行 Spark 串流作業的日誌。

變更、強化功能和已解決的問題

• 更新 Amazon 的預設 AMI Amazon LinuxEMR，以包含重要的 Linux 核心安全更新，包括TCPSACK拒絕服務問題 （AWS-2019-005）。

升級

• Flink 1.5.2

• HBase 1.4.6

• Presto 0.206

新功能

• 新增對 Tensorflow 的支援。如需詳細資訊，請參閱TensorFlow。

變更、強化功能和已解決的問題

• JupyterHub

  • 新增對 Amazon S3 中筆記本持續性的支援。如需詳細資訊，請參閱在 Amazon S3 中設定筆記本的持久性。

• Spark

  • 新增對 S3 Select 的支援。如需詳細資訊，請參閱使用 S3 Select 搭配 Spark 以提升查詢效能。

• 已解決 Amazon 5.14.0、5.15.0 或 5.16.0 EMR版中 Cloudwatch 指標和自動擴展功能的問題。

已知問題

• 如果您在安裝 Livy 後建立 kerberos 化叢集，Livy 將因未啟用簡單身分驗證的錯誤而發生故障。重新啟動 Livy 伺服器可解決該問題。解決辦法是，建立叢集時，新增一個在主節點上執行 sudo restart livy-server 的步驟。

• 如果您使用建立AMI日期為 2018-08-11 的 Amazon Linux AMI為基礎的自訂 Amazon Linux，則 Oozie 伺服器無法啟動。如果您使用 Oozie，請AMI根據具有不同建立日期的 Amazon Linux AMI ID 建立自訂。您可以使用下列 AWS CLI 命令來傳回AMIs具有 2018.03 版IDs的所有 HVM Amazon Linux 的映像清單，以及發行日期，以便選擇適當的 Amazon Linux AMI作為基礎。 MyRegion 以您的區域識別碼取代，例如 us-west-2。

  aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1
  

升級

• Hadoop 2.8.4

• Flink 1.5.0

• Livy 0.5.0

• MXNet 1.2.0

• Phoenix 4.14.0

• Presto 0.203

• Spark 2.3.1

• AWS SDK for Java 1.11.336

• CUDA 9.2

• Redshift JDBC驅動程式 1.2.15.1025

變更、強化功能和已解決的問題

• HBase

  • 已回溯 HBASE-20723

• Presto

  • 支援LDAP身分驗證的組態變更。如需詳細資訊，請參閱在 Amazon 上使用 Presto 的LDAP身分驗證 EMR。

• Spark

  • Apache Spark 2.3.1 版，從 Amazon 5.16.0 EMR版開始提供，地址為 CVE-2018-8024 和 CVE-2018-1334。建議您將舊版 Spark 遷移至 Spark 版本 2.3.1 或更高版本。

已知問題

• 此發行版本不支援 c1.medium 或 m1.small 執行個體類型。使用這兩種執行個體類型的叢集均無法啟動。解決辦法是，指定不同的執行個體類型或使用不同的發行版本。

• 如果您在安裝 Livy 後建立 kerberos 化叢集，Livy 將因未啟用簡單身分驗證的錯誤而發生故障。重新啟動 Livy 伺服器可解決該問題。解決辦法是，建立叢集時，新增一個在主節點上執行 sudo restart livy-server 的步驟。

• 主節點重新啟動或執行個體控制器重新啟動後，將不會收集 CloudWatch 指標，且自動擴展功能將無法在 Amazon 5.14.0、5.15.0 或 5.16.0 EMR版中使用。此問題已在 Amazon EMR 5.17.0 中修正。

升級

• HBase 已升級至 1.4.4

• 升級 Hive 至 2.3.3

• 升級 Hue 至 4.2.0

• 升級 Oozie 至 5.0.0

• 升級 Zookeeper 至 3.4.12

• 已 AWS SDK升級至 1.11.333

變更、強化功能和已解決的問題

• Hive

  • 已回溯 HIVE-18069

• Hue

  • 更新 Hue，在啟用 Kerberos 時正確地使用 Livy 進行身分驗證。搭配 Amazon 使用 Kerberos 時，現在支援 LivyEMR。

• JupyterHub

  • 已更新， JupyterHub 以便 Amazon 預設EMR安裝LDAP用戶端程式庫。

  • 修正指令碼中產生自我簽署憑證的錯誤。

已知問題

• 此發行版本不支援 c1.medium 或 m1.small 執行個體類型。使用這兩種執行個體類型的叢集均無法啟動。解決辦法是，指定不同的執行個體類型或使用不同的發行版本。

• 主節點重新啟動或執行個體控制器重新啟動後，將不會收集 CloudWatch 指標，且自動擴展功能將無法在 Amazon 5.14.0、5.15.0 或 5.16.0 EMR版中使用。此問題已在 Amazon EMR 5.17.0 中修正。

升級

• 升級 Apache Flink 至 1.4.2

• 已MXnet將 Apache 升級至 1.1.0

• 升級 Apache Sqoop 至 1.4.7

新功能

• 已新增 JupyterHub 支援。如需詳細資訊，請參閱JupyterHub。

變更、強化功能和已解決的問題

• EMRFS

  • Amazon S3 請求中的 userAgent 字串已更新，以包含叫用主體的使用者和群組資訊。這可與 AWS CloudTrail 日誌搭配使用，以取得更全面的請求追蹤。

• HBase

  • 已包含 HBASE-20447，可解決可能導致快取問題的問題，特別是在分割區域。

• MXnet

  • 新增 OpenCV 程式庫。

• Spark

  • 當 Spark 使用 將 Parquet 檔案寫入 Amazon S3 位置時EMRFS， FileOutputCommitter 演算法已更新為使用第 2 版而非第 1 版。這可減少重新命名數量，進而提升應用程式效能。此變更不會影響：

    • Spark 以外的應用程式。

    • 寫入其他檔案系統的應用程式，例如 HDFS（仍然使用 第 1 版 FileOutputCommitter）。

    • 使用其他已使用EMRFS直接寫入之輸出格式的應用程式，例如文字或 csv。

已知問題

• JupyterHub

  • 當您建立叢集時，不支援使用組態分類來設定 JupyterHub 和個別 Jupyter 筆記本。手動編輯每個使用者的 jupyterhub_config.py 檔案和 jupyter_notebook_config.py 檔案。如需詳細資訊，請參閱設定 JupyterHub。

  • JupyterHub 無法在私有子網路內的叢集上啟動，但訊息 失敗Error: ENOENT: no such file or directory, open '/etc/jupyter/conf/server.crt' 。這是由指令碼中產生自我簽署憑證的錯誤所致。使用以下解決辦法來產生自我簽署的憑證。所有命令都在連線至主節點時執行。

    1. 從容器複製憑證產生指令碼到主節點。

       sudo docker cp jupyterhub:/tmp/gen_self_signed_cert.sh ./

    2. 使用文字編輯器以變更第 23 列，將公開主機名稱變更為本機主機名稱，如下所示：

       local hostname=$(curl -s $EC2_METADATA_SERVICE_URI/local-hostname)

    3. 執行指令碼以產生自我簽署憑證：

       sudo bash ./gen_self_signed_cert.sh

    4. 將指令碼產生的憑證檔案移至 /etc/jupyter/conf/ 目錄：

       sudo mv /tmp/server.crt /tmp/server.key /etc/jupyter/conf/

    您可以 tail jupyter.log 檔案來驗證 是否已 JupyterHub 重新啟動，並傳回 200 個回應碼。例如：

    tail -f /var/log/jupyter/jupyter.log

    這應該會傳回類似如下的回應：

    # [I 2018-06-14 18:56:51.356 JupyterHub app:1581] JupyterHub is now running at https://:9443/
    # 19:01:51.359 - info: [ConfigProxy] 200 GET /api/routes 
    

• 主節點重新啟動或執行個體控制器重新啟動後，將不會收集 CloudWatch 指標，且自動擴展功能將無法在 Amazon 5.14.0、5.15.0 或 5.16.0 EMR版中使用。此問題已在 Amazon EMR 5.17.0 中修正。

升級

• 升級 Spark 至 2.3.0

• HBase 已升級至 1.4.2

• 升級至 Presto 至 0.194

• AWS SDK for Java 已升級至 297 年 11 月 1 日

變更、強化功能和已解決的問題

• Hive

  • 已回溯 HIVE-15436。增強 Hive APIs 僅傳回檢視。

已知問題

• MXNet 目前沒有 OpenCV 程式庫。

變更、強化功能和已解決的問題

• 此版本修正了潛在的安全性漏洞。

變更、強化功能和已解決的問題

• 已更新AMI適用於 Amazon 的 Linux 的 Amazon defaultAmazon Linux 核心，EMR以解決潛在的漏洞。

升級

• AWS SDK 適用於 Java 1.11.238 ⇒ 1.11.267。如需詳細資訊，請參閱 上的 AWS SDK Java 變更日誌 GitHub。

• Hadoop 2.7.3 ⇒ 2.8.3。如需詳細資訊，請參閱 Apache Hadoop 版本。

• Flink 1.3.2 ⇒ 1.4.0。如需詳細資訊，請參閱 Apache Flink 1.4.0 版本公告。

• HBase 1.3.1 ⇒ 1.4.0。如需詳細資訊，請參閱 HBase 版本公告 。

• Hue 4.0.1 ⇒ 4.1.0。如需詳細資訊，請參閱版本備註。

• MxNet 0.12.0 ⇒ 1.0.0。如需詳細資訊，請參閱 上的MXNet變更日誌 GitHub。

• Presto 0.187 ⇒ 0.188。如需詳細資訊，請參閱版本備註。

變更、強化功能和已解決的問題

• Hadoop

  • yarn.resourcemanager.decommissioning.timeout 屬性已變更為 yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs。您可以使用此屬性來自訂叢集縮減規模。如需詳細資訊，請參閱 Amazon EMR管理指南 中的叢集縮減規模。

  • Hadoop 將 -d選項CLI新增至 cp（複製） 命令，指定直接複製。您可以使用它避免建立媒介 .COPYING 檔案，從而加快 Amazon S3 之間的資料複製。如需詳細資訊，請參閱 HADOOP-12384。

• Pig

  • 新增 pig-env 組態分類，簡化 Pig 環境屬性的組態。如需詳細資訊，請參閱設定應用程式。

• Presto

  • 新增 presto-connector-redshift 組態分類，讓您可用來在 Presto redshift.properties 組態檔案中設定值。如需詳細資訊，請參閱 Presto 文件中的 Redshift 連接器以及 設定應用程式。

  • EMRFS 已新增 的 Presto 支援，這是預設組態。早期 Amazon EMR版本使用 PrestoS3FileSystem，這是唯一的選項。如需詳細資訊，請參閱EMRFS 和 PrestoS3FileSystem 組態。

    注意

    如果您使用 Amazon 5.12.0 版查詢 Amazon S3 中的基礎資料，可能會發生 Presto 錯誤。 EMR這是因為 Presto 無法從 emrfs-site.xml 中取用組態分類值。解決辦法是，在 usr/lib/presto/plugin/hive-hadoop2/ 下方建立 emrfs 子目錄，並在 usr/lib/presto/plugin/hive-hadoop2/emrfs 中建立 symlink 以連線至現有 /usr/share/aws/emr/emrfs/conf/emrfs-site.xml 檔案。然後重新啟動 presto-server 程序 (sudo presto-server stop 在 sudo presto-server start 之前)。

• Spark

  • 回溯 SPARK-22036： BigDecimal 乘法有時會傳回 null 。

已知問題

• MXNet 不包含 OpenCV 程式庫。

• SparkR 不適用於使用自訂建立的叢集，AMI因為在叢集節點上預設不會安裝 R。

變更、強化功能和已解決的問題

• 更新 Amazon 的預設 AMI Amazon LinuxEMR，以包含重要的 Linux 核心安全更新，包括TCPSACK拒絕服務問題 （AWS-2019-005）。

變更、強化功能和已解決的問題

• 此版本修正了潛在的安全性漏洞。

• 已更新 AMI Linux for Amazon 的 Amazon defaultAmazon Linux 核心，EMR以解決與推測執行相關的漏洞 （CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754）。如需詳細資訊，請參閱https://aws.amazon.com/security/security-bulletins/AWS-2018-013/。

• MXNet 不包含 OpenCV 程式庫。

• Hive 2.3.2 會預設設定為 hive.compute.query.using.stats=true。這會使查詢從現有統計資料而非直接從資料獲得資料，可能會造成混淆。例如，假設您有一個 hive.compute.query.using.stats=true 的資料表，並將新檔案上傳至資料表 LOCATION，則在資料表執行 SELECT COUNT(*) 查詢時會傳回統計資料的計數，而非顯示出新增的資料列。

  解決方法是使用 ANALYZE TABLE 命令來收集新的統計資料，或者設定 hive.compute.query.using.stats=false。如需詳細資訊，請參閱 Apache Hive 文件中 Hive 的統計資料。

• Hive 2.3.2

• Spark 2.2.1

• SDK 適用於 Java 1.11.238

• Spark

  • 新增 spark.decommissioning.timeout.threshold 設定，改善使用 Spot 執行個體時 Spark 的汰除行為。如需詳細資訊，請參閱設定節點除役行為。

  • 已將 aws-sagemaker-spark-sdk 元件新增至 Spark，這會安裝 Amazon SageMaker Spark 和與 Amazon SageMaker整合的 Spark 相關相依性。您可以使用 Amazon SageMaker Spark 建構使用 Amazon SageMaker 階段的 Spark 機器學習 （ML） 管道。如需詳細資訊，請參閱 Amazon SageMaker 開發人員指南 中的 SageMaker Spark 讀我檔案 GitHub 和將 Apache Spark 與 Amazon 搭配使用 SageMaker。

• MXNet 不包含 OpenCV 程式庫。

• Hive 2.3.2 會預設設定為 hive.compute.query.using.stats=true。這會使查詢從現有統計資料而非直接從資料獲得資料，可能會造成混淆。例如，假設您有一個 hive.compute.query.using.stats=true 的資料表，並將新檔案上傳至資料表 LOCATION，則在資料表執行 SELECT COUNT(*) 查詢時會傳回統計資料的計數，而非顯示出新增的資料列。

  解決方法是使用 ANALYZE TABLE 命令來收集新的統計資料，或者設定 hive.compute.query.using.stats=false。如需詳細資訊，請參閱 Apache Hive 文件中 Hive 的統計資料。

• AWS SDK for Java 1.11.221

• Hive 2.3.1

• Presto 0.187

• 新增對 Kerberos 身分驗證的支援。如需詳細資訊，請參閱 Amazon EMR管理指南中的使用 Kerberos 身分驗證

• 新增對 Amazon S3 EMRFS請求IAM的角色支援。如需詳細資訊，請參閱 Amazon 管理指南 中的設定 Amazon S3 EMRFS請求IAM的角色。 EMR

• 新增對 GPU型 P2 和 P3 執行個體類型的支援。如需詳細資訊，請參閱 Amazon EC2 P2 執行個體和 Amazon EC2 P3 執行個體。NVIDIA 驅動程式 384.81 和CUDA驅動程式 9.0.176 預設會安裝在這些執行個體類型上。

• 新增了對 Apache MXNet 的支援。

• Presto

  • 新增使用 AWS Glue Data Catalog 作為預設 Hive 中繼存放區的支援。如需詳細資訊，請參閱搭配 AWS Glue Data Catalog 使用 Presto。

  • 新增對地理空間功能的支援。

  • 新增對聯結溢寫至磁碟的支援。

  • 新增對 Redshift 連接器的支援。

• Spark

  • Backported SPARK-20640，這使得 rpc 逾時和隨機登錄值的重試可以使用 spark.shuffle.registration.timeout和 spark.shuffle.registration.maxAttempts 屬性設定。

  • Backported SPARK-21549，可修正 OutputFormat 將自訂寫入非HDFS 位置時發生的錯誤。

• 向後移植的 Hadoop-13270

• Numpy、Scipy 和 Matplotlib 程式庫已從基礎 Amazon EMR 中移除AMI。如果應用程式需要這些程式庫，您可以在應用程式儲存庫中找到，並以 yum install 使用引導操作將其安裝於所有節點。

• Amazon EMR基礎AMI不再包含應用程式RPM套件，因此RPM套件不再存在於叢集節點上。自訂 AMIs和 Amazon EMR基礎AMI現在參考 Amazon S3 中的RPM套件儲存庫。

• 由於在 Amazon 中引入每秒計費EC2，預設的縮減規模行為現在會在任務完成時終止，而不是在執行個體小時 終止。如需詳細資訊，請參閱設定叢集縮減規模。

• MXNet 不包含 OpenCV 程式庫。

• Hive 2.3.1 會預設設定為 hive.compute.query.using.stats=true。這會使查詢從現有統計資料而非直接從資料獲得資料，可能會造成混淆。例如，假設您有一個 hive.compute.query.using.stats=true 的資料表，並將新檔案上傳至資料表 LOCATION，則在資料表執行 SELECT COUNT(*) 查詢時會傳回統計資料的計數，而非顯示出新增的資料列。

  解決方法是使用 ANALYZE TABLE 命令來收集新的統計資料，或者設定 hive.compute.query.using.stats=false。如需詳細資訊，請參閱 Apache Hive 文件中 Hive 的統計資料。

• AWS SDK for Java 1.11.183 版

• Flink 1.3.2

• Hue 4.0.1

• Pig 0.17.0

• Presto 0.184

• 新增 Livy 支援 (0.4.0-incubating 版本)。如需詳細資訊，請參閱Apache Livy。

• 新增對 Spark 的 Hue Notebook 支援

• 新增對 i3 系列 Amazon EC2執行個體的支援 （2017 年 10 月 12 日）。

• Spark

  • 新增一組新功能，協助確保 Spark 能夠更從容處理因為手動調整大小或自動調整規模政策請求而造成的節點終止。如需詳細資訊，請參閱設定節點除役行為。

  • SSL 用於區塊傳輸服務的傳輸中加密，而不是 3DES，這會增強搭配 AES-NI 使用 Amazon EC2執行個體類型時的效能。

  • 已回溯 SPARK-21494。

• Zeppelin

  • 已回溯 ZEPPELIN-2377。

• HBase

  • 已新增修補程式 HBASE-18533，允許使用HBase BucketCache 組態分類進行hbase-site組態的其他值。

• Hue

  • 新增了對 Hue 中 Hive 查詢編輯器的 AWS Glue Data Catalog 支援。

  • 根據預設，Hue 中的超級使用者可以存取 Amazon EMRIAM角色允許存取的所有檔案。新建立的使用者不會自動擁有存取 Amazon S3 檔案瀏覽器的許可，而且必須針對其群組啟用 filebrowser.s3_access 許可。

• 已解決導致使用 AWS Glue Data Catalog 建立的基礎JSON資料無法存取的問題。

• 安裝所有應用程式且未變更預設的 Amazon EBS根磁碟區大小時，叢集啟動會失敗。作為解決方法，請使用 中的 aws emr create-cluster命令， AWS CLI 並指定更大的--ebs-root-volume-size參數。

• Hive 2.3.0 會預設設定為 hive.compute.query.using.stats=true。這會使查詢從現有統計資料而非直接從資料獲得資料，可能會造成混淆。例如，假設您有一個 hive.compute.query.using.stats=true 的資料表，並將新檔案上傳至資料表 LOCATION，則在資料表執行 SELECT COUNT(*) 查詢時會傳回統計資料的計數，而非顯示出新增的資料列。

  解決方法是使用 ANALYZE TABLE 命令來收集新的統計資料，或者設定 hive.compute.query.using.stats=false。如需詳細資訊，請參閱 Apache Hive 文件中 Hive 的統計資料。

變更、強化功能和已解決的問題

• 已更新AMI適用於 Amazon 的 Linux 的 Amazon defaultAmazon Linux 核心，EMR以解決潛在的漏洞。

• 已更新 AMI Linux for Amazon 的 Amazon defaultAmazon Linux 核心，EMR以解決與推測執行 （CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754） 相關的漏洞。如需詳細資訊，請參閱https://aws.amazon.com/security/security-bulletins/AWS-2018-013/。

• AWS SDK 1.11.160

• Flink 1.3.1

• Hive 2.3.0。如需詳細資訊，請參閱 Apache Hive 網站上的版本備註。

• Spark 2.2.0。如需詳細資訊，請參閱 Apache Spark 網站上的版本備註。

• 新增檢視應用程式歷史記錄的支援 (2017 年 9 月 25 日)。如需詳細資訊，請參閱 Amazon EMR管理指南 中的檢視應用程式歷史記錄。

• 與 AWS Glue Data Catalog 整合

  • 新增 Hive 和 Spark SQL使用 AWS Glue Data Catalog 作為 Hive 中繼資料存放區的功能。如需詳細資訊，請參閱 使用 AWS Glue Data Catalog 作為 Hive 的中繼存放區 和 使用 AWS Glue Data Catalog 作為 Spark 的中繼存放區 SQL。

• 已將應用程式歷史記錄新增至叢集詳細資訊，可讓您檢視YARN應用程式的歷史資料和 Spark 應用程式的其他詳細資訊。如需詳細資訊，請參閱 Amazon EMR管理指南 中的檢視應用程式歷史記錄。

• Oozie

  • 已回溯 OOZIE-2748。

• Hue

  • 已回溯 HUE-5859

• HBase

  • 新增了修補程式，使用 公開HBase主要伺服器透過 Java Management Extensions （JMX） 的開始時間getMasterInitializedTime。

  • 新增修補程式以改善叢集開始時間。

• 安裝所有應用程式且未變更預設的 Amazon EBS根磁碟區大小時，叢集啟動會失敗。作為解決方法，請使用 中的 aws emr create-cluster命令， AWS CLI 並指定更大的--ebs-root-volume-size參數。

• Hive 2.3.0 會預設設定為 hive.compute.query.using.stats=true。這會使查詢從現有統計資料而非直接從資料獲得資料，可能會造成混淆。例如，假設您有一個 hive.compute.query.using.stats=true 的資料表，並將新檔案上傳至資料表 LOCATION，則在資料表執行 SELECT COUNT(*) 查詢時會傳回統計資料的計數，而非顯示出新增的資料列。

  解決方法是使用 ANALYZE TABLE 命令來收集新的統計資料，或者設定 hive.compute.query.using.stats=false。如需詳細資訊，請參閱 Apache Hive 文件中 Hive 的統計資料。

• Spark - 使用 Spark 時，apppusher 常駐程式會有檔案處理常式遺漏問題，這可能在長期執行之 Spark 作業的數小時或數天後出現。要解決此問題，請連接至主節點並輸入 sudo /etc/init.d/apppusher stop。這會停止該 Apppusher 常駐程式，Amazon EMR會自動重新啟動該常駐程式。

• 應用程式歷程記錄

  • 無法提供無效 Spark 執行器的歷史資料。

  • 使用安全組態以啟用傳送中加密的叢集，無法取得應用程式歷史記錄。

• Flink 1.3.0

• Phoenix 4.11.0

• Zeppelin 0.7.2

• 新增了在建立叢集AMI時指定自訂 Amazon Linux 的功能。如需詳細資訊，請參閱使用自訂 AMI。

• HBase

  • 新增設定僅供HBase讀取複本叢集的功能。請參閱使用僅供讀取複本叢集。

  • 多種錯誤修正與強化功能

• Presto - 新增設定 node.properties 的功能。

• YARN - 新增了設定 的功能 container-log4j.properties

• Sqoop - 後端 SQOOP-2880，它引入了一個引數，允許您設定 Sqoop 暫存目錄。

• Flink 1.2.1

• HBase 1.3.1

• Mahout 0.13.0。這是第一個在 Amazon 5.0 版及更新版本中支援 Spark 2.x 的 Mahout EMR版本。

• Spark 2.1.1

• Presto

  • 新增了啟用 SSL/TLS 保護 Presto 節點之間通訊的功能，方法是使用安全組態啟用傳輸中加密。如需詳細資訊，請參閱傳輸中資料加密。

  • 向後移植的 Presto 7661 新增 VERBOSE 選項至 EXPLAIN ANALYZE 陳述式，以回報更多關於查詢計畫的詳細低層級統計資訊。

變更、強化功能和已解決的問題

• 此版本修正了潛在的安全性漏洞。

變更、強化功能和已解決的問題

• 已更新AMI適用於 Amazon 的 Linux 的 Amazon defaultAmazon Linux 核心，EMR以解決潛在的漏洞。

• 已更新 AMI Linux for Amazon 的 Amazon defaultAmazon Linux 核心，EMR以解決與推測執行 （CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754） 相關的漏洞。如需詳細資訊，請參閱https://aws.amazon.com/security/security-bulletins/AWS-2018-013/。

• Hue 3.12

• Presto 0.170

• Zeppelin 0.7.1

• ZooKeeper 3.4.10

• Spark

  • Backported Spark 修補程式 （SPARK-20115） 修正DAGScheduler，以便在外部隨機播放服務無法使用 Spark 2.1.0 版時，重新計算所有遺失的隨機播放區塊，此版本已包含在其中。

• Flink

  • Flink 現在已內建 Scala 2.11。如果您使用 Scala API和程式庫，建議您在專案中使用 Scala 2.11。

  • 解決 HADOOP_CONF_DIR 和 YARN_CONF_DIR 預設值未正確設定而使 start-scala-shell.sh 無法運作的問題。另外新增以 env.hadoop.conf.dir 或 env.yarn.conf.dir 組態分類之 /etc/flink/conf/flink-conf.yaml 和 flink-conf 設定這些值的功能。

  • 已推出新的 EMR特定命令，flink-scala-shell作為 的包裝函式start-scala-shell.sh。建議您使用此指令而非 start-scala-shell。新的命令可簡化執行。例如，flink-scala-shell -n 2 會啟動一個 Flink Scala shell 以及 2 個工作平行處理原則。

  • 已推出新的 EMR特定命令，flink-yarn-session作為 的包裝函式yarn-session.sh。建議您使用此指令而非 yarn-session。新的命令可簡化執行。例如，flink-yarn-session -d -n 2 會啟動處於分離狀態的長期執行 Flink 工作階段以及兩個工作管理員。

  • Flink 1.2 不再遮蔽已定址 （FLINK-6125） 的 httpclient。

• Presto

  • 新增了身分LDAP驗證的支援。在 Amazon 上使用 LDAP搭配 Presto EMR需要您啟用 Presto 協調器的HTTPS存取權 （http-server.https.enabled=true 中的）config.properties。如需組態詳細資訊，請參閱 Presto 文件中的LDAP身分驗證。

  • 新增了對 SHOW GRANTS 的支援。

• Amazon EMR Base Linux AMI

  • Amazon EMR版本現在是以 Amazon Linux 2017.03 為基礎。如需詳細資訊，請參閱 Amazon Linux AMI 2017.03 版本備註 。

  • 從 Amazon EMR base Linux 映像中移除 Python 2.6。根據預設會安裝 Python 2.7 和 3.4。如果需要，您可以手動安裝 Python 2.6。

• 升級至 Flink 1.2.0

• 升級至 Hbase 1.3.0

• 升級至 Phoenix 4.9.0

  注意

  如果您從舊版的 Amazon 升級EMR到 Amazon 5.4EMR.0 版或更新版本，並使用次要索引，請依照 Apache Phoenix 文件 中所述升級本機索引。Amazon 會從hbase-site分類EMR中移除所需的組態，但需要重新填入索引。支援線上與離線升級索引。線上升級為預設，這表示從 4.8.0 版或更新版本的 Phoenix 用戶端執行初始化時，索引會重新填入。若要指定離線升級，請在phoenix-site分類中將phoenix.client.localIndexUpgrade組態設定為 false，然後SSH設定為主節點以執行 psql [zookeeper] -1。

• 升級至 Presto 0.166

• 升級至 Zeppelin 0.7.0

• 新增對 r4 執行個體的支援。請參閱 Amazon EC2執行個體類型 。

• 升級至 Hive 2.1.1

• 升級至 Hue 3.11.0

• 升級至 Spark 2.1.0

• 升級至 Oozie 4.3.0

• 升級至 Flink 1.1.4

• 新增 Hue 的修補程式，允許您以 interpreters_shown_on_wheel 設定來設置筆記本選擇輪上首先出現的直譯器，無論其在 hue.ini 檔案中的排序為何。

• 新增 hive-parquet-logging 組態分類，讓您可用來在 Hive 的 parquet-logging.properties 檔案中設定數值。

• 後端 SPARK-194459，可解決從具有字元/變數資料欄的ORC資料表讀取失敗的問題。

• 升級至 Presto 0.157.1。如需詳細資訊，請參閱 Presto 文件中的 Presto 版本備註。

• 升級至 Zookeeper 3.4.9 版。如需詳細資訊，請參閱 Apache ZooKeeper 文件中的ZooKeeper 版本備註。

• 新增了對 Amazon EC2 4.8.3 版及更新EMR版本中 Amazon m4.16xlarge 執行個體類型的支援，不包括 5.0.0、5.0.3 和 5.2.0。

• Amazon EMR版本現在是以 Amazon Linux 2016.09 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/。

• Flink 和YARN組態路徑的位置現在預設為 /etc/default/flink ，在執行 flink或yarn-session.sh驅動程式指令碼以啟動 Flink 任務FLINK_CONF_DIRHADOOP_CONF_DIR時，您不需要設定環境變數。

• 已新增對 FlinkKinesisConsumer 類別的支援。

• 修正 Hadoop 中執行 ReplicationMonitor 緒可能因為複寫和刪除大型叢集中相同檔案之間發生競爭而長時間卡住的問題。

• 已修正工作狀態未成功更新時 ControlledJob#toString 失敗且具有 null 指標例外狀況 （NPE） 的問題。

• 新增 的 Amazon S3 儲存模式HBase。

• 可讓您指定 HBase rootdir 的 Amazon S3 位置。如需詳細資訊，請參閱 HBaseAmazon S3 上的 。

• 升級至 Spark 2.0.2

• 已修正 /mnt 在EBS僅限 執行個體類型上限制為 2 TB 的問題。

• 修正 instance-controller 和 logpusher 日誌被輸出至其對應之 .out 檔案而非一般由 log4j 設定之 .log 檔案 (每小時輪換) 的問題。由於 .out 檔案不會輪換，因此 /emr 分割區最後會被填滿。此問題只會影響硬體虛擬機器 （HVM） 執行個體類型。

• 新增對 Flink 1.1.3 的支援。

• Presto 已新增為 Hue 筆記本區段中的選項。

• 已升級至 HBase 1.2.3

• 升級至 Zeppelin 0.6.2

• 已修正 Amazon S3 上具有ORC檔案的 Tez 查詢與舊版 Amazon EMR 4.x 版本未執行的問題。

• 升級至 Hadoop 2.7.3

• 升級至 Presto 0.152.3，其中包含對 Presto Web 介面的支援。您可以使用連接埠 8889 在 Presto 協調器上存取 Presto Web 介面。如需有關 Presto Web 界面的詳細資訊，請參閱 Presto 文件中的 Web 界面。

• 升級至 Spark 2.0.1

• Amazon EMR版本現在是以 Amazon Linux 2016.09 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/。

• 升級至 Hive 2.1

• 升級至 Presto 0.150

• 升級至 Spark 2.0

• 升級至 Hue 3.10.0

• 升級至 Pig 0.16.0

• 升級至 Tez 0.8.4

• 升級至 Zeppelin 0.6.1

• Amazon EMR支援 Hive （2.1 版） 和 Pig （0.16.0 版） 的最新開放原始碼版本。如果您EMR過去在 Amazon 上使用過 Hive 或 Pig，可能會影響某些使用案例。如需詳細資訊，請參閱 Hive 和 Pig。

• Hive 和 Pig 的預設執行引擎現在為 Tez。若要變更，您可以分別編輯 hive-site 和 pig-properties 組態分類中的適當值。

• 強化步驟除錯功能已新增，如果服務能夠判斷原因，您就可以看出步驟失敗的根源。如需詳細資訊，請參閱 Amazon EMR管理指南中的增強型步驟偵錯。

• 先前以「-Sandbox」結尾的應用程式已不再具有該尾碼。這可能會打斷您的自動化，例如在您使用指令碼以這些應用程式啟動叢集時。下表顯示 Amazon EMR 4.7.2 與 Amazon EMR 5.0.0 中的應用程式名稱。

  應用程式名稱變更

  Amazon EMR 4.7.2	Amazon EMR 5.0.0
  Oozie-Sandbox	Oozie
  Presto-Sandbox	Presto
  Sqoop-Sandbox	Sqoop
  Zeppelin-Sandbox	Zeppelin
  ZooKeeper-沙盒	ZooKeeper

• Spark 現在已為 Scala 2.11 編譯。

• Java 8 現在是預設 JVM。所有應用程式的執行均使用 Java 8 執行時間。應用程式的位元組碼目標均無變更。大部分應用程式繼續以 Java 7 為目標。

• Zeppelin 現在包括了驗證功能。如需詳細資訊，請參閱 Zeppelin。

• 新增對安全組態的支援，讓您能夠更輕易建立與套用加密選項。如需詳細資訊，請參閱資料加密。

變更、強化功能和已解決的問題

• HBase

  • 此版本修正了潛在的安全性漏洞。

變更、強化功能和已解決的問題

• 已更新AMI適用於 Amazon 的 Linux 的 Amazon defaultAmazon Linux 核心，EMR以解決潛在的漏洞。

• 已更新 AMI Linux for Amazon 的 Amazon defaultAmazon Linux 核心，EMR以解決與推測執行 （CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754） 相關的漏洞。如需詳細資訊，請參閱https://aws.amazon.com/security/security-bulletins/AWS-2018-013/。

• HIVE-9976 和 HIVE-10106 的後端

• 修正 中YARN大量節點 （大於 2，000） 和容器 （大於 5，000） 會導致記憶體不足錯誤的問題，例如："Exception in thread 'main' java.lang.OutOfMemoryError"。

• Amazon EMR版本現在是以 Amazon Linux 2017.03 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2017.03-release-notes/。

• 從 Amazon EMR base Linux 映像中移除 Python 2.6。如果需要，您可以手動安裝 Python 2.6。

• 升級至 Presto 0.157.1。如需詳細資訊，請參閱 Presto 文件中的 Presto 版本備註。

• 升級至 Spark 1.6.3。如需詳細資訊，請參閱 Apache Spark 文件中的 Spark 版本備註。

• 已升級至 ZooKeeper 3.4.9。如需詳細資訊，請參閱 Apache ZooKeeper 文件中的ZooKeeper 版本備註。

• 新增了對 Amazon EC2 4.8.3 版及更新EMR版本中 Amazon m4.16xlarge 執行個體類型的支援，不包括 5.0.0、5.0.3 和 5.2.0。

• Amazon EMR版本現在是以 Amazon Linux 2016.09 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/。

• 修正 Hadoop 中執行 ReplicationMonitor 緒可能因為複寫和刪除大型叢集中相同檔案之間發生競爭而長時間卡住的問題。

• 已修正工作狀態未成功更新時 ControlledJob#toString 失敗且具有 null 指標例外狀況 （NPE） 的問題。

• 升級至 Hadoop 2.7.3

• 升級至 Presto 0.152.3，其中包含對 Presto Web 介面的支援。您可以使用連接埠 8889 在 Presto 協調器上存取 Presto Web 介面。如需有關 Presto Web 界面的詳細資訊，請參閱 Presto 文件中的 Web 界面。

• Amazon EMR版本現在是以 Amazon Linux 2016.09 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/。

• 已升級至 HBase 1.2.2

• 升級至 Presto-Sandbox 0.151

• 升級至 Tez 0.8.4

• 升級至 Zeppelin-Sandbox 0.6.1

• 修正 YARN 中 ApplicationMaster 因執行個體已終止而嘗試清除不再存在的容器的問題。

• 更正 Oozie 範例中 URL Hive2 動作的 Hive2。

• 新增對其他 Presto 目錄的支援。

• 後端修補程式：HIVE-8948、HIVE-12679、HIVE-13405、PHOENIX-3116、HADOOP-12689

• 新增對安全組態的支援，讓您能夠更輕易建立與套用加密選項。如需詳細資訊，請參閱資料加密。

• 升級至 Mahout 0.12.2

• 升級至 Presto 0.148

• 升級至 Spark 1.6.2

• 您現在可以建立 AWSCredentialsProvider ，以EMRFS使用 URI作為 參數。如需詳細資訊，請參閱 AWSCredentialsProvider 為 建立 EMRFS。

• EMRFS 現在允許使用者使用 中的 fs.s3.consistent.dynamodb.endpoint 屬性，為其一致性檢視中繼資料設定自訂 DynamoDB 端點emrfs-site.xml。

• 在 /usr/bin 中新增名為 spark-example 的指令碼以包裝 /usr/lib/spark/spark/bin/run-example，讓您可以直接執行範例。例如，若要執行 Spark 分佈隨附的 SparkPi 範例，您可以從spark-example SparkPi 100命令列執行 或使用 command-runner.jar作為 中的步驟API。

• 修正之問題為：在 Spark 也安裝時，Oozie 的 spark-assembly.jar 未處於正確位置，導致以 Oozie 啟動 Spark 應用程式失敗。

• 修正以 Spark Log4j-basedYARN容器記錄問題。

• 已修正延長VPC在具有私有子網路的 中啟動叢集啟動時間的問題。錯誤只會影響 Amazon 4.7EMR.0 版本啟動的叢集。

• 已修正 Amazon 4.7.0 EMR 版本啟動之EMR叢集在 Amazon 中不當處理檔案清單的問題。

• 新增 Apache Phoenix 4.7.0

• 新增 Apache Tez 0.8.3

• 已升級至 HBase 1.2.1

• 升級至 Mahout 0.12.0

• 升級至 Presto 0.147

• 已 AWS SDK for Java 將 升級至 1.10.75

• 最後的旗標已從 mapreduce.cluster.local.dir 中的 mapred-site.xml 屬性移除，以允許使用者於本機模式執行 Pig。

• 修正核心問題，該問題顯著影響 emr-4.6.0 EMR中 Amazon 的輸送量最佳化 HDD（st1） EBS磁碟區的效能。

• 修正如果指定任何HDFS加密區域而不選擇 Hadoop 作為應用程式，則叢集會失敗的問題。

• 已將預設HDFS寫入政策從 RoundRobin變更為 AvailableSpaceVolumeChoosingPolicy。某些磁碟區未正確與 RoundRobin 組態搭配使用，導致核心節點失敗和 不可靠HDFS。

• 已修正 EMRFS 的問題CLI，這會導致建立預設 DynamoDB 中繼資料資料表以進行一致檢視時發生例外狀況。

• 修正在分段重新命名和複製操作期間可能發生EMRFS的 中的死鎖問題。

• 已修正EMRFS導致 CopyPart 大小預設為 5 MB 的問題。預設大小現在正確設定為 128 MB。

• 修正 Zeppelin upstart 組態可能讓您無法停止服務的問題。

• 已修正 Spark 和 Zeppelin 的問題，因為 /usr/lib/hadoop/hadoop-aws.jar 未正確載入各自的 classpath，因此無法使用 s3a://URI方案。

• 已回溯 HUE-2484。

• 從 Hue 3.9.0 （JIRA不存在） 回溯遞交，以修正HBase瀏覽器範例的問題。

• 已回溯 HIVE-9073。

• 新增 HBase 1.2.0

• 新增 Zookeeper-Sandbox 3.4.8

• 升級至 Presto-Sandbox 0.143

• Amazon EMR版本現在是以 Amazon Linux 2016.03.0 為基礎。如需詳細資訊，請參閱https://aws.amazon.com/amazon-linux-ami/2016.03-release-notes/。

• 修正應用程式佈建有時會因為產生密碼而隨機失敗的問題。

• 過去，mysqld 會安裝於所有的節點。現在，這只會安裝於主執行個體，且唯有在所選應用程式將 mysql-server 包含為元件時適用。目前，下列應用程式包含 mysql-server元件：HCatalog、Hive、Hue、Presto-Sandbox 和 Sqoop-Sandbox。

• 從預設值 yarn.scheduler.maximum-allocation-vcores 32 變更為 80，此修正了在叢集中使用 maximizeResourceAllocation選項時，主要與 Spark 一起發生的問題，而叢集的核心執行個體類型是YARN幾個 vcore 設定為 32 以上的大型執行個體類型之一；即 c4.8xlarge、cc2.8xlarge、hs1.8xlarge、i2.8xlarge、m2.4xlarge、r3.8xlarge、d2.8xlarge 或 m4.10xlarge 受到此問題的影響。

• s3-dist-cp 現在EMRFS用於所有 Amazon S3 提名，不再是暫存HDFS目錄的階段。

• 修正用戶端加密分段上傳之例外處理的問題。

• 新增選項以允許使用者變更 Amazon S3 儲存類別。根據預設，此設定為 STANDARD。emrfs-site 的組態分類設定為 fs.s3.storageClass，而可能的值為 STANDARD、STANDARD_IA、REDUCED_REDUNDANCY。如需有關儲存類別的詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》中的儲存類別。

• 升級至 Spark 1.6.1

• 升級至 Hadoop 2.7.2

• 升級至 Presto 0.140

• 新增了對 Amazon S3 伺服器端加密的 AWS KMS 支援。

• 已修正 MySQL 和 Apache 伺服器在節點重新啟動後無法啟動的問題。

• 已修正 IMPORT 無法正確使用存放在 Amazon S3 中的非分割資料表的問題

• 修正 Presto 在寫入至 Hive 資料表時暫存目錄必須為 /mnt/tmp 而非 /tmp 的問題。

• 新增 HCatalog 1.0.0

• 新增 Sqoop-Sandbox 1.4.6

• 升級至 Presto 0.136

• 升級至 Zeppelin 0.5.6

• 升級至 Mahout 0.11.1

• 根據預設啟用 dynamicResourceAllocation。

• 新增版本所有組態分類的資料表。如需詳細資訊，請參閱設定應用程式中的組態分類資料表。

• 修正maximizeResourceAllocation設定無法為YARN ApplicationMaster常駐程式保留足夠記憶體的問題。

• 修正自訂 遇到的問題DNS。如果 resolve.conf 中的任何項目位在提供的自訂項目之前，則自訂項目無法解決。此行為受到 中的叢集影響，VPC其中預設VPC名稱伺服器插入為 中的頂端項目resolve.conf。

• 修正預設 Python 改成 2.7 版而 boto 卻未在該版本安裝的問題。

• 修正YARN容器和 Spark 應用程式會產生唯一 Ganglia 循環配置資料庫 （rrd） 檔案的問題，導致第一個磁碟連接至執行個體填滿。由於此修正，YARN容器層級指標已停用，且 Spark 應用程式層級指標已停用。

• 修正日誌推送器會刪除所有空日誌資料夾的問題。影響是 Hive CLI無法記錄，因為日誌推送器正在移除 下的空user資料夾/var/log/hive。

• 修正影響 Hive 匯入而影響分割並導致匯入時錯誤的問題。

• 已修正 EMRFS和 s3-dist-cp 無法正確處理包含句點的儲存貯體名稱的問題。

• 變更 中的行為，EMRFS使得在啟用版本控制的儲存貯體中，_$folder$標記檔案不會持續建立，這可能有助於改善啟用版本控制的儲存貯體的效能。

• 變更 中的行為，EMRFS使其不會使用指示檔案，除非是啟用用戶端加密的情況。如果在使用用戶端加密時想要刪除指示檔案，您可以將 emrfs-site.xml 屬性 fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled 設定為 true。

• 變更YARN日誌彙總，以在彙總目的地保留日誌兩天。預設目的地是叢集的HDFS儲存體。如果您想要變更持續時間，請在建立叢集時使用 yarn.log-aggregation.retain-seconds 組態分類變更 yarn-site 之值。一如往常，您可以在建立叢集時使用 log-uri 參數將應用程式日誌儲存至 Amazon S3。

• HIVE-9655

• HIVE-9183

• HADOOP-12810

• 升級至 Hadoop 2.7.1

• 升級至 Spark 1.6.0

• 升級至 Ganglia 3.7.2

• 升級至 Presto 0.130

• 如果 spark.dynamicAllocation.enabled 設定為 true，則 spark.executor.instances 不會由 maximizeResourceAllocation 設定。

• spark.driver.memory 設定現在是以叢集中的執行個體類型為基礎來設定，類似 spark.executors.memory 的設定方式。不過，由於 Spark 驅動程式應用程式可以在主要執行個體或其中一個核心執行個體上執行 （例如，分別在YARN用戶端和叢集模式中），因此spark.driver.memory設定會根據這兩個執行個體群組之間較小執行個體類型的執行個體類型來設定。

• spark.default.parallelism 設定現在設定為YARN容器可用CPU核心數目的兩倍。在先前的版本中，設定值為該值的一半。

• 為 Spark 程序預留的記憶體額外負荷計算YARN已調整為更準確，導致 Spark 可用的記憶體總量小幅增加 （即 spark.executor.memory）。

• YARN 日誌彙總現在預設為啟用。

• 修正啟用日誌彙總時，YARN日誌不會推送到叢集 Amazon S3 日誌儲存貯體的問題。

• YARN 容器大小現在在所有節點類型中都有新的最小值 32。

• 修正 Ganglia 中造成大型叢集之主節點出現過多磁碟 I/O 的問題。

• 修正叢集關閉時應用程式日誌無法推送至 Amazon S3 的問題。

• 修正 中EMRFSCLI導致特定命令失敗的問題。

• 已修正 Zeppelin 的問題，以防止相依性載入基礎 中 SparkContext。

• 修正提出調整規模嘗試新增執行個體時產生的問題。

• 修正 Hive 中 CREATE TABLE AS 對 Amazon S3 SELECT進行過多清單呼叫的問題。

• 修正 Hue、Oozie、Ganglia 安裝時大型叢集無法正常佈建的問題。

• 修正 s3-dist-cp 中即使因錯誤而失敗仍會傳回零為結束代碼的問題。

• OOZIE-2402

• HIVE-12502

• HIVE-10631

• HIVE-12213

• HIVE-10559

• HIVE-12715

• HIVE-10685

• 新增 Ganglia 支援。

• 升級至 Spark 1.5.2

• 升級至 Presto 0.125

• 升級 Oozie 至 4.2.0

• 升級 Zeppelin 至 0.5.5

• 已 AWS SDK for Java 將 升級至 1.10.27

• 已修正未使用預設中繼資料資料表名稱EMRFSCLI的 問題。

• 修正在 Amazon S3 中使用 ORC後端資料表時遇到的問題。

• 修正 Python 版本與 Spark 組態不相符所發生的問題。

• 修正YARN節點狀態因 中的叢集問題而無法報告時DNS的問題VPC。

• 修正YARN停用節點時遇到的問題，導致應用程式停滯或無法排程新應用程式。

• 修正當叢集終止時，狀態為 TIMED_OUT_ 的問題STARTING。

• 修正在其他 建置中包含 Scala EMRFS 相依性時遇到的問題。Scala 相依性已移除。