本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR on EKS 6.14.0 版
此頁面說明EMREKS部署中 Amazon EMR 特有的 Amazon 新功能和更新功能。如需在 Amazon EMR上執行的 Amazon EC2和一般 Amazon EMR 6.14.0 版本的詳細資訊,請參閱 Amazon EMR版本指南 中的 Amazon EMR6.14.0。
Amazon EMR on EKS 6.14 版
下列 Amazon EMR 6.14.0 版本可在 EMR上供 Amazon 使用EKS。選取特定的 emr-6.14.0 XXXX版本,以檢視更多詳細資訊,例如相關的容器映像標籤。
-
emr-6.14.0-spark-rapids-latest
-
emr-6.14.0-spark-rapids-20231005
-
emr-6.14.0-java11-latest
-
emr-6.14.0-java11-20231005
-
emr-6.14.0-java17-latest
-
emr-6.14.0-java17-20231005
-
emr-6.14.0-java17-al2023-latest
-
emr-6.14.0-java17-al2023-20231005
-
emr-6.14.0-spark-rapids-java17-latest
-
emr-6.14.0-spark-rapids-java17-20231005
-
emr-6.14.0-spark-rapids-java17-al2023-latest
-
emr-6.14.0-spark-rapids-java17-al2023-20231005
-
notebook-spark/emr-6.14.0-latest
-
notebook-spark/emr-6.14.0-20231005
-
notebook-spark/emr-6.14.0-spark-rapids-latest
-
notebook-spark/emr-6.14.0-spark-rapids-20231005
-
notebook-spark/emr-6.14.0-java11-latest
-
notebook-spark/emr-6.14.0-java11-20231005
-
notebook-spark/emr-6.14.0-java17-latest
-
notebook-spark/emr-6.14.0-java17-20231005
-
notebook-spark/emr-6.14.0-java17-al2023-latest
-
notebook-spark/emr-6.14.0-java17-al2023-20231005
-
notebook-python/emr-6.14.0-latest
-
notebook-python/emr-6.14.0-20231005
-
notebook-python/emr-6.14.0-spark-rapids-latest
-
notebook-python/emr-6.14.0-spark-rapids-20231005
-
notebook-python/emr-6.14.0-java11-latest
-
notebook-python/emr-6.14.0-java11-20231005
-
notebook-python/emr-6.14.0-java17-latest
-
notebook-python/emr-6.14.0-java17-20231005
-
notebook-python/emr-6.14.0-java17-al2023-latest
-
notebook-python/emr-6.14.0-java17-al2023-20231005
版本備註
Amazon EMR on 6.14.0 EKS 的版本備註
-
支援的應用程式 ‐ AWS SDK for Java 1.12.543、Apache Spark 3.4.1-amzn-1、Apache Hudi 0.13.1-amzn-2、Apache Iceberg 1.3.0-amzn-0、Delta 2.4.0、Apache Spark RAPIDS 23.06.0-amzn-2、Jupyter Enterprise Gateway 2.7.0
-
支援的元件 ‐
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支援的組態分類
搭配 StartJobRun和 CreateManagedEndpoint 使用APIs:
分類 描述 core-site
變更
core-site.xml
Hadoop 檔案中的值。emrfs-site
變更EMRFS設定。
spark-metrics
變更
metrics.properties
Spark 檔案中的值。spark-defaults
變更
spark-defaults.conf
Spark 檔案中的值。spark-env
變更 Spark 環境中的值。
spark-hive-site
變更
hive-site.xml
Spark 檔案中的值。spark-log4j
變更
log4j2.properties
Spark 檔案中的值。emr-job-submitter
作業提交者 Pod 的組態。
專門與 CreateManagedEndpoint 搭配使用APIs:
分類 描述 jeg-config
變更 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
檔案中的值。jupyter-kernel-overrides
在 Jupyter 核心規格檔案中變更核心映像的值。
組態分類可讓您自訂應用程式。這些通常對應於應用程式的組態XML檔案,例如
spark-hive-site.xml
。如需詳細資訊,請參閱設定應用程式。
值得注意的功能
下列功能包含在 Amazon 的 6EKS.14 版EMR中。
-
Apache Livy
支援 - Amazon EMR on EKS 現在支援 Apache Livy 搭配 spark-submit
。