Amazon EMR on EKS 7.0.0 版 - Amazon EMR
推出版本備註功能變更

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR on EKS 7.0.0 版

本頁面描述了針對 Amazon EMR on EKS 部署的 Amazon EMR 新功能和更新功能。如需有關在 Amazon EC2 上執行的 Amazon EMR 以及一般 Amazon EMR 7.0.0 版的詳細資訊，請參閱《Amazon EMR 版本指南》中的 Amazon EMR 7.0.0。

Amazon EMR on EKS 7.0 版

以下 Amazon EMR 7.0.0 版可用於 Amazon EMR on EKS。選取特定的 emr-7.0.0-XXXX 版本，以檢視更多詳細資訊，例如相關的容器映像標籤。

Flink releases

當您執行 Flink 應用程式時，以下 Amazon EMR 7.0.0 版可用於 Amazon EMR on EKS。

Spark releases

當您執行 Spark 應用程式時，以下 Amazon EMR 7.0.0 版可用於 Amazon EMR on EKS。

  • emr-7.0.0-latest

  • emr-7.0.0-20231211

  • emr-7.0.0-spark-rapids-latest

  • emr-7.0.0-spark-rapids-20231211

  • emr-7.0.0-java11-latest

  • emr-7.0.0-java11-20231211

  • emr-7.0.0-java8-latest

  • emr-7.0.0-java8-20231211

  • emr-7.0.0-spark-rapids-java8-latest

  • emr-7.0.0-spark-rapids-java8-20231211

  • notebook-spark/emr-7.0.0-latest

  • notebook-spark/emr-7.0.0-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-latest

  • notebook-spark/emr-7.0.0-spark-rapids-20231211

  • notebook-spark/emr-7.0.0-java11-latest

  • notebook-spark/emr-7.0.0-java11-20231211

  • notebook-spark/emr-7.0.0-java8-latest

  • notebook-spark/emr-7.0.0-java8-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

  • notebook-python/emr-7.0.0-latest

  • notebook-python/emr-7.0.0-20231211

  • notebook-python/emr-7.0.0-spark-rapids-latest

  • notebook-python/emr-7.0.0-spark-rapids-20231211

  • notebook-python/emr-7.0.0-java11-latest

  • notebook-python/emr-7.0.0-java11-20231211

  • notebook-python/emr-7.0.0-java8-latest

  • notebook-python/emr-7.0.0-java8-20231211

  • notebook-python/emr-7.0.0-spark-rapids-java8-latest

  • notebook-python/emr-7.0.0-spark-rapids-java8-20231211

版本備註

Amazon EMR on EKS 7.0.0 的版本備註

  • 支援的應用程式：AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • 支援的元件 ‐ aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支援的組態分類

    若要與 StartJobRun 和 CreateManagedEndpoint API 搭配使用：

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門搭配 CreateManagedEndpoint API 使用：

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 spark-hive-site.xml。如需詳細資訊，請參閱設定應用程式。

值得注意的功能

Amazon EMR on EKS 7.0 版包含以下功能。

  • 應用程式升級：Amazon EMR on EKS 7.0.0 應用程式升級包括 Spark 3.5、Flink 1.18 和 Flink Operator 1.6.1。

  • Flink Autoscaler 參數自動調整：Flink Autoscaler 用於擴展計算的預設參數可能不是給定作業的最佳值。Amazon EMR on EKS 7.0.0 使用特定擷取指標的歷史趨勢來計算為作業量身打造的最佳參數。

變更

Amazon EMR on EKS 7.0 版包含以下變更。

  • Amazon Linux 2023：使用 Amazon EMR on EKS 7.0.0 及更高版本時，所有容器映像均以 Amazon Linux 2023 為基礎。

  • Spark 使用 Java 17 作為預設執行期：Amazon EMR on EKS 7.0.0 Spark 使用 Java 17 作為預設執行期。如有需要，您可以透過 Amazon EMR on EKS 7.0 版 清單中提供的對應發行標籤，切換為使用 Java 8 或 Java 11。