Amazon EMR on EKS 6.7.0 版 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR on EKS 6.7.0 版

以下 Amazon EMR 6.7.0 版本可用於 Amazon EMR on EKS。選取特定的 emr-6.7.0-XXXX 版本，以檢視更多詳細資訊，例如相關的容器映像標籤。

Amazon EMR on EKS 6.7.0 的版本資訊

  • 支援的應用程式 - Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。

  • 支援的元件‐aws-hm-client (Glue 連接器)、aws-sagemaker-spark-sdk、emr-s3-select、emrfs、emr-ddb、hudi-spark。

  • 隨著升級到 JEG 2.6，核心管理現在是非同步的，這意味著 JEG 不會在核心啟動過程中阻止交易。透過提供下列能力，可大幅改善使用者體驗：

    • 當其他核心啟動正在進行時，能夠在目前正執行的筆記本中執行命令的能力

    • 能夠同時啟動多個核心且不會影響正在執行核心的能力

  • 支援的組態分類：

    分類 描述

    core-site

    變更 Hadoop core-site.xml 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 Spark metrics.properties 檔案中的值。

    spark-defaults

    變更 Spark spark-defaults.conf 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 Spark hive-site.xml 檔案中的值。

    spark-log4j

    變更 Spark log4j.properties 檔案中的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 spark-hive-site.xml。如需詳細資訊，請參閱設定應用程式。

已解決的問題

  • Amazon EMR on EKS 6.7 修正了在 6.6 版本中搭配使用 Apache Spark 的 Pod 範本功能與互動端點時遇到的一個問題。Amazon EMR on EKS 6.4、6.5 和 6.6 中出現了該問題。現在可以使用 Pod 範本來定義在使用互動端點來執行互動分析時 Spark 驅動程式和執行程式 Pod 的開始方式。

  • 在 Amazon EMR on EKS 的舊版中，Jupyter Enterprise Gateway 會在核心啟動進行時阻止交易，而這會阻礙目前執行中的筆記本工作階段的執行。當其他核心啟動正在進行時，您可在目前正執行的筆記本中執行命令。您也可以同時啟動多個核心，而不會失去與已執行之核心的連線。