Amazon EMR on EKS 6.10.0 版 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR on EKS 6.10.0 版

以下 Amazon EMR 6.10.0 版本可用於 Amazon EMR on EKS。選取特定的 emr-6.10.0-XXXX 版本，以檢視更多詳細資訊，例如相關的容器映像標籤。

Amazon EMR on EKS 6.10.0 的版本資訊

  • 支援的應用程式 ‐ AWS SDK for Java 1.12.397、Spark 3.3.1-amzn-0、Hudi 0.12.2-amzn-0、Iceberg 1.1.0-amzn-0、Delta 2.2.0。

  • 支援的元件 ‐ aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支援的組態分類：

    若要與 StartJobRun 和 CreateManagedEndpoint API 搭配使用：

    分類 描述

    core-site

    變更 Hadoop core-site.xml 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 Spark metrics.properties 檔案中的值。

    spark-defaults

    變更 Spark spark-defaults.conf 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 Spark hive-site.xml 檔案中的值。

    spark-log4j

    變更 Spark log4j.properties 檔案中的值。

    專門搭配 CreateManagedEndpoint API 使用：

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 spark-hive-site.xml。如需詳細資訊，請參閱設定應用程式。

值得注意的功能

  • Spark Operator - 透過 Amazon EMR on EKS 6.10.0 及更高版本，可以使用 Kubernetes Operator for Apache Spark 或 Spark operator，在您自己的 Amazon EKS 叢集上利用 Amazon EMR 發行執行期部署和管理 Spark 應用程式。如需詳細資訊，請參閱使用 Spark Operator 執行 Spark 作業。

  • Java 11 - 透過 Amazon EMR on EKS 6.10 及更高版本，可使用 Java 11 執行期啟動 Spark。為此，將 emr-6.10.0-java11-latest 作為版本標籤進行傳遞。建議您先驗證並執行效能測試，然後再將生產工作負載從 Java 8 映像移至 Java 11 映像。

  • 對於 Apache Spark 的 Amazon Redshift 整合，Amazon EMR on EKS 6.10.0 會刪除 minimal-json.jar 的相依性，並自動將所需的 spark-redshift 相關 jar 新增到 Spark 的執行程式類別路徑：spark-redshift.jar、spark-avro.jar 和 RedshiftJDBC.jar。

變更

  • 現在預設為 parquet、ORC 和基於文字的格式 (包括 CSV 和 JSON) 啟用 EMRFS S3 優化提交程式。