Amazon EMR on EKS 7.2.0 版 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR on EKS 7.2.0 版

此頁面說明 EKS Amazon 部署EMR時 EMR Amazon 特有的新功能和更新功能。如需在 Amazon EMR上執行的 Amazon EC2和一般 Amazon EMR 7.2.0 版本的詳細資訊,請參閱《Amazon EMR版本指南》中的 Amazon EMR7.2.0。

Amazon EMR on EKS 7.2 版

下列 Amazon EMR 7.2.0 版本可在 EMR上供 Amazon 使用EKS。選取特定的 emr-7.2.0 XXXX版本,以檢視更多詳細資訊,例如相關的容器映像標籤。

Flink releases

當您執行 Flink 應用程式EKS時EMR,Amazon EMR on 可以使用下列 Amazon 7.2.0 版本。

Spark releases

當您執行 Spark 應用程式EKS時EMR,Amazon EMR on 可以使用下列 Amazon 7.2.0 版本。

  • emr-7.2.0-latest

  • emr-7.2.0-20240610

  • emr-7.2.0-spark-rapids-latest

  • emr-7.2.0-spark-rapids-20240610

  • emr-7.2.0-java11-latest

  • emr-7.2.0-java11-20240610

  • emr-7.2.0-java8-latest

  • emr-7.2.0-java8-20240610

  • emr-7.2.0-spark-rapids-java8-latest

  • emr-7.2.0-spark-rapids-java8-20240610

  • notebook-spark/emr-7.2.0-latest

  • notebook-spark/emr-7.2.0-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-latest

  • notebook-spark/emr-7.2.0-spark-rapids-20240610

  • notebook-spark/emr-7.2.0-java11-latest

  • notebook-spark/emr-7.2.0-java11-20240610

  • notebook-spark/emr-7.2.0-java8-latest

  • notebook-spark/emr-7.2.0-java8-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.2.0-spark-rapids-java8-20240610

  • notebook-python/emr-7.2.0-latest

  • notebook-python/emr-7.2.0-20240610

  • notebook-python/emr-7.2.0-spark-rapids-latest

  • notebook-python/emr-7.2.0-spark-rapids-20240610

  • notebook-python/emr-7.2.0-java11-latest

  • notebook-python/emr-7.2.0-java11-20240610

  • notebook-python/emr-7.2.0-java8-latest

  • notebook-python/emr-7.2.0-java8-20240610

  • notebook-python/emr-7.2.0-spark-rapids-java8-latest

  • notebook-python/emr-7.2.0-spark-rapids-java8-20240610

  • livy/emr-7.2.0-latest

  • livy/emr-7.2.0-20240610

  • livy/emr-7.2.0-java11-latest

  • livy/emr-7.2.0-java11-20240610

  • livy/emr-7.2.0-java8-latest

  • livy/emr-7.2.0-java8-20240610

版本備註

Amazon EMR on 7.2.0 EKS 的版本備註

  • 支援的應用程式 ‐ AWS SDK for Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1

  • 支援的元件aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支援的組態分類

    搭配 StartJobRun CreateManagedEndpoint 使用APIs:

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更EMRFS設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j2

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門與 CreateManagedEndpoint 搭配使用APIs:

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態XML檔案,例如 spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式

值得注意的功能

Amazon EMR on 的 7.2.0 版包含下列功能EKS。

  • 應用程式升級 – Amazon EMR on EKS 7.2.0 應用程式升級包括 Spark 3.5.1、Flink 1.18.1 和 Flink Operator 1.8.0。

  • Flink 更新的 Autoscaler – 7.2.0 版本使用開放原始碼組態job.autoscaler.restart.time-tracking.enabled來啟用重新調整時間估算,因此您不再需要手動指派實證值來重新啟動時間。如果您執行 7.1.0 或更低版本,您仍然可以使用 Amazon EMR Autoscaling。

  • Apache Hudi 整合 Amazon EMR on 上的 Apache Flink EKS – 此版本新增了 Apache Hudi 和 Apache Flink 之間的整合,因此您可以使用 Flink Kubernetes 運算子來執行 Hudi 任務。Hudi 可讓您使用記錄層級操作,以簡化資料管理和資料管道開發。

  • Amazon S3 Express One Zone 與 Amazon EMR on 整合 EKS – 使用 7.2.0 及更高版本,您可以將資料上傳至 S3 Express One Zone with Amazon EMR on EKS。S3 Express One Zone 是一種高效能的單區域 Amazon S3 儲存類別,可為對大多數延遲敏感的應用程式提供一致的單一位數毫秒資料存取。在發布時,S3 Express One Zone 提供 Amazon S3 中最低延遲和最高效能的雲端物件儲存。

  • 支援 Spark 運算子中的預設組態 – Amazon 上的 Spark 運算子EKS現在支援與適用於 7.2.0 及更高EKS版本EMR之 Amazon 上的啟動任務執行模型相同的預設組態。這表示 Amazon S3 和 等功能EMRFS不再需要 yaml 檔案中的手動組態。