Amazon EMR on EKS 6.11.0 版 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR on EKS 6.11.0 版

此頁面說明EMREKS部署中 Amazon EMR 特有的 Amazon 新功能和更新功能。如需在 Amazon EMR上執行的 Amazon EC2和一般 Amazon EMR 6.11.0 版本的詳細資訊,請參閱 Amazon EMR版本指南 中的 Amazon EMR6.11.0

Amazon EMR on EKS 6.11 版

下列 Amazon EMR 6.11.0 版本可在 EMR上供 Amazon 使用EKS。選取特定 emr-6.11.0 XXXX版本,以檢視更多詳細資料,例如相關的容器映像標籤。

  • emr-6.11.0-spark-rapids-latest

  • emr-6.11.0-spark-rapids-20230509

  • emr-6.11.0-java11-latest

  • emr-6.11.0-java11-20230509

  • notebook-spark/emr-6.11.0-latest

  • notebook-spark/emr-6.11.0-20230509

  • notebook-python/emr-6.11.0-latest

  • notebook-python/emr-6.11.0-20230509

版本備註

Amazon EMR on 6.11.0 EKS 的版本備註

  • 支援的應用程式 ‐ AWS SDK for Java 1.12.446、Apache Spark 3.3.2-amzn-0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Delta 2.2.0、Apache Spark RAPIDS 23.02.0-amzn-0、Jupyter Enterprise Gateway 2.6.0

  • 支援的元件aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支援的組態分類

    搭配 StartJobRun CreateManagedEndpoint 使用APIs:

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更EMRFS設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j

    變更 log4j.properties Spark 檔案中的值。

    專門與 CreateManagedEndpoint 搭配使用APIs:

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些通常對應於應用程式的組態XML檔案,例如 spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式

值得注意的功能

下列功能包含在 Amazon 的 6.11 版EMR中EKS。