View a markdown version of this page

AWS Apache Spark 的執行時間 (emr-spark-8.1.0) - Amazon EMR
emr-spark-8.1.0 支援的生命週期emr-spark-8.1.0 應用程式版本emr-spark-8.1.0 版本備註emr-spark-8.1.0 預設 Java 版本emr-spark-8.1.0 元件版本emr-spark-8.1.0 組態分類Amazon EMR Spark 8.1.0 變更日誌

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS Apache Spark 的執行時間 (emr-spark-8.1.0)

emr-spark-8.1.0 支援的生命週期

此版本指定為長期支援 (LTS) 版本。下表說明 Amazon EMR Spark 8.1.0 支援的生命週期日期。

支援階段 日期
初始發行日期 2026 年 9 月 8 日
標準支援，直到 2029 年 9 月 7 日
生命週期結束 2029 年 9 月 8 日

emr-spark-8.1.0 應用程式版本

此版本包含下列應用程式：AmazonCloudWatchAgent、Delta、Hudi、Iceberg、Livy、 JupyterEnterpriseGateway和 Spark。

下表列出此 Amazon EMR 版本中提供的應用程式版本，以及前三個 Amazon EMR 版本 (如果適用) 中的應用程式版本。

如需完整了解各 Amazon EMR 版之應用程式版本的完整歷史記錄，請參閱以下主題：

應用程式版本資訊
emr-spark-8.1.0 emr-spark-8.0.0
AWS 適用於 Java 的 SDK 2.44.52.41.32
Python 3.11、3.133.11、3.13
Scala 2.13.172.13.16
AmazonCloudWatchAgent1.300034.0-amzn-01.300032.2-amzn-0
Delta4.2.0-amzn-04.0.0-amzn-1-spark
Hudi1.1.1-amzn-01.1.0-amzn-0
Iceberg1.11.0-amzn-01.10.1-amzn-0
JupyterEnterpriseGateway2.6.02.6.0
Livy0.9.0 培養0.8.0 培養
Spark4.1.1-amzn-04.0.2-amzn-0

emr-spark-8.1.0 版本備註

下列版本備註包含具有 Apache Spark 4.1.1 的 Amazon EMR 8.1.0 版 (emr-spark-8.1.0) 資訊。

最新消息

  • Apache Spark 4.1.1 — Amazon EMR Spark 8.1.0 包含 Apache Spark 4.1.1。更新的相依性包括 Scala 2.13.17、Jackson 2.20.0 和 Parquet-MR 1.16.0，以及新的 Spark 功能、效能改善和錯誤修正。

  • Iceberg v3 規格支援 Spark 工作負載 — Amazon EMR Spark 8.1.0 擴展 Iceberg v3 規格支援 Spark 工作負載。此版本新增了下列 v3 功能：

    • 地理空間資料類型 — Iceberg v3 資料表支援 GEOMETRY和 GEOGRAPHY資料類型。

    • 地理空間 SQL 函數 — Amazon EMR Spark 8.1.0 原生支援 Iceberg 工作負載的地理空間函數。在您的 Spark 組態true中spark.sql.geospatial.enabled將 設定為 ，以啟用地理空間函數。Apache Spark 4.1 僅支援 SRID 0、3857 和 4326。支援下列函數：

      • st_area(geom)

      • st_asbinary(geo[, endianness])

      • st_collect(geoArray)

      • st_convexhull(geom)

      • st_distance(geom1, geom2)

      • st_dwithin(geom1, geom2, distance)

      • st_geogfromwkb(wkb)

      • st_geomfromwkb(wkb[, srid])

      • st_geomfromwkt(wkt[, srid])

      • st_intersection(geom1, geom2)

      • st_intersects(geom1, geom2)

      • st_length(geom)

      • st_makeline(geomArray)

      • st_setsrid(geo, srid)

      • st_srid(geo)

      • st_within(geom1, geom2)

      • st_x(point)

      • st_y(point)

    • 奈秒精確度時間戳記 — Iceberg v3 資料表支援奈秒精確度時間戳記資料欄 (TIMESTAMP(9) 和 TIMESTAMP_NTZ(9))。

    • 變體碎片 — Iceberg v3 資料表支援變體碎片。

    • UNKNOWN 資料類型 — Iceberg v3 UNKNOWN 資料表支援類型尚未定義的資料欄資料類型。此類型的資料欄是選用的，預設為 null，不會存放在資料檔案中。

    • 預設值 — Iceberg v3 資料欄支援宣告的預設值，這會在寫入器省略資料欄時套用。

  • 擴展了對開放資料表格式的精細存取控制支援 — Amazon EMR Spark 8.1.0 擴展了對開放資料表格式 (OTFs) 的精細存取控制 (FGAC) 支援。Iceberg 現在支援 FGAC 進行其他操作：DESCRIBE TABLE、ALTER TABLE table_name WRITE ORDERED BY、、 SHOW TBLPROPERTIES SHOW CREATE TABLE和 ALTER TABLE table_name WRITE DISTRIBUTED BY。Delta Lake 現在支援 FGAC 操作VACUUM。

  • Iceberg 具體化視觀表的增量重新整理改進 — 增量重新整理現在支援透過變更資料擷取Merge-on-Read資料表。這可讓使用更新和刪除的工作負載快速重新整理。重新整理會使用每個檔案和資訊清單層級資料欄統計資料，僅讀取受變更影響的資料檔案。

  • 具有自動探索的多重格式多目錄支援 — Spark SQL 查詢現在可以依名稱參考目錄，而無需在 Spark 組態中預先註冊。支援的目錄類型包括跨帳戶目錄和 S3 資料表聯合目錄，可自動偵測 Iceberg、Delta 和 Hudi 資料表格式。若要啟用此功能，請新增下列 Spark 組態： "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.connector.catalog.redirecting.RedirectingSessionCatalog", "spark.sql.catalogResolver": "com.amazonaws.glue.catalog.redirecting.GlueCatalogResolver"

變更、強化功能和已解決的問題

  • 此版本包含 Iceberg、Hudi 和 Delta 的錯誤修正和功能改進。如需詳細資訊，請參閱最新消息一節。

  • 改善叢集啟動期間的磁碟加密驗證公差 — 在安全組態中啟用本機磁碟加密的叢集現在更能容忍執行個體開機期間的暫時性網路連線延遲。此變更可減少間歇性叢集啟動失敗。

  • 修正 Amazon EMR 組態中的 UTF-8 多位元組字元處理 — Amazon EMR 組態現在可正確支援 UTF-8 多位元組字元。這包括帶有重音字母或非拉丁文指令碼的值。如需詳細資訊，請參閱設定應用程式。

  • 改善 Secret Agent 啟動可靠性 — 修正可能導致與 Secret Agent 安全服務相關的 Amazon EMR 叢集佈建失敗的兩個問題。憑證建立現在會等待 HDFS 整備再繼續，啟動指令碼會重試偵測 Secret Agent Java 程序。這些變更可共同減少具有較慢儲存體初始化或大量載入執行個體的叢集上的啟動失敗。

已知問題和限制

  • 只有當您使用 Hive 中繼存放區或 Iceberg REST 目錄時，才會套用原生 Apache Iceberg 資料表加密。使用 AWS Glue Data Catalog （包括其 Iceberg REST 端點） 和 Hadoop 目錄，系統會接受這些屬性，但不會強制執行。因此，資料會以純文字撰寫。若要使用這些目錄加密靜態 Iceberg 資料表資料，請在資料表的 Amazon S3 位置使用 AWS KMS 金鑰 (SSE-KMS) 啟用 Amazon S3 伺服器端加密。

  • Iceberg v3 資料表不支援使用多個引數的轉換。

emr-spark-8.1.0 預設 Java 版本

應用程式Java/Amazon Corretto 版本 (預設為粗體)
Spark17、21
Livy17、11、8
Hadoop17、11、8

emr-spark-8.1.0 元件版本

Amazon EMR 在此版本安裝的元件列出如下。其中有一些屬於大數據應用程式套件。其他的則為 Amazon EMR 獨有，並安裝為系統程序和功能。這些通常會以 emr 或 aws 開頭。在最新 Amazon EMR 版本中的大數據應用程式套件，通常也是社群中可找到的最新版本。我們致力盡快提供 Amazon EMR 的社群版本。

Amazon EMR 中的某些元件與社群版本不同。這些元件具有版本標籤，格式為 CommunityVersion-amzn-EmrVersion。EmrVersion 從 0 開始。例如，假設有一個名為 myapp-component 的開放原始碼社群元件 2.2 版為了包含在不同 Amazon EMR 發行版本中而修改過三次，則其發行版本會列為 2.2-amzn-2。

元件 版本 說明
adot-java-agent1.31.0從應用程式常駐程式收集指標的 Java 代理程式。
delta4.2.0-amzn-0Delta Lake 是一種適用於大型分析資料集的開放式資料表格式
emr-amazon-cloudwatch-agent1.300034.0-amzn-0從 Amazon EC2 執行個體收集內部系統層級指標和自訂應用程式指標的應用程式。
emr-ddb6.1.0適用於 Hadoop 生態系統應用程式的 Amazon DynamoDB 連接器。
emr-goodies3.23.0-spark適用 Hadoop 生態系統的超便利程式庫。
emr-notebook-env1.18.0適用於 emr 筆記本的 Conda env，前者包含 Jupyter Enterprise Gateway
emr-s3-dist-cp2.46.0針對 Amazon S3 最佳化的分散式複製應用程式。
hadoop-client3.4.2-amzn-3Hadoop 命令列用戶端，例如「hdfs」、「Hadoop」或「yarn」。
hadoop-hdfs-datanode3.4.2-amzn-3用於存放區塊的 HDFS 節點層級服務。
hadoop-hdfs-library3.4.2-amzn-3HDFS 命令列用戶端和程式庫
hadoop-hdfs-namenode3.4.2-amzn-3用於追蹤檔案名稱和區塊位置的 HDFS 服務。
hadoop-hdfs-zkfc3.4.2-amzn-3用於追蹤 HA 模式名稱節點的 ZKFC 服務。
hadoop-hdfs-journalnode3.4.2-amzn-3HDFS 檔案系統中的 Hadoop 服務，用於管理在 HA 叢集。
hadoop-httpfs-server3.4.2-amzn-3HDFS 操作的 HTTP 端點。
hadoop-kms-server3.4.2-amzn-3以 Hadoop 金鑰供應商 API 為基礎的加密金鑰管理伺服器。
hadoop-mapred3.4.2-amzn-3執行 MapReduce 應用程式的 MapReduce 執行引擎程式庫。
hadoop-yarn-nodemanager3.4.2-amzn-3在個別節點用於管理容器的 YARN 服務。
hadoop-yarn-resourcemanager3.4.2-amzn-3用於分配和管理叢集資源，以及分散式應用程式的 YARN 服務。
hadoop-yarn-timeline-server3.4.2-amzn-3為 YARN 應用程式擷取目前和歷史資訊的服務。
hudi1.1.1-amzn-0增量處理架構，以低延遲和高效率強化資料管道。
hudi-spark1.1.1-amzn-0用於使用 Hudi 執行 Spark 的套件程式庫。
iceberg1.11.0-amzn-0Apache Iceberg 是一種適用於大型分析資料集的開放式資料表格式
livy-server0.9.0 培養與 Apache Spark 互動的 REST 介面
nginx1.12.1nginx [engine x] 是 HTTP 和反向代理伺服器
mariadb-server5.5.68+MariaDB 資料庫伺服器。
nvidia-cuda12.5.0Nvidia 驅動程式和 Cuda 工具組
r4.3.2統計運算 R 專案
spark-client4.1.1-amzn-0Spark 命令列用戶端。
spark-history-server4.1.1-amzn-0用於檢視完整 Spark 應用程式生命週期記錄事件的 Web 使用者介面。
spark-on-yarn4.1.1-amzn-0適用於 YARN 的記憶體內執行引擎。
spark-yarn-slave4.1.1-amzn-0YARN 從屬所需的 Apache Spark 程式庫。
spark-rapids26.04.2-amzn-0Nvidia Spark RAPIDS 外掛程式使用 GPU 加速 Apache Spark。
zookeeper-server3.9.3-amzn-8用於維護組態資訊、命名、提供分散式同步，並提供群組服務的集中化服務。
zookeeper-client3.9.3-amzn-8ZooKeeper 命令列用戶端。

emr-spark-8.1.0 組態分類

組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 hive-site.xml。如需詳細資訊，請參閱設定應用程式。

當您為執行中叢集的執行個體群組指定組態時，就會發生重新設定動作。Amazon EMR 只會為您修改的分類啟動重新設定動作。如需詳細資訊，請參閱重新設定執行中叢集中的執行個體群組。

emr-spark-8.1.0 分類
分類 說明 重新設定動作

capacity-scheduler

變更 Hadoop 中 capacity-scheduler.xml 檔案的值。

Restarts the ResourceManager service.

container-executor

在 Hadoop YARN 的 container-executor.cfg 檔案中變更值。

Not available.

container-log4j

變更 Hadoop YARN 的 container-log4j.properties 檔案中的值。

Not available.

core-site

變更 Hadoop 中 core-site.xml 檔案的值。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

變更 Docker 相關設定。

Not available.

hadoop-env

在 Hadoop 環境中變更所有 Hadoop 元件的值。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

hadoop-log4j

變更 Hadoop 中 log4j.properties 檔案的值。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

變更 hadoop ssl 伺服器組態

Not available.

hadoop-ssl-client

變更 hadoop ssl 用戶端組態

Not available.

hdfs-encryption-zones

設定 HDFS 加密區域。

This classification should not be reconfigured.

hdfs-env

變更 HDFS 環境中的值。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

變更 HDFS 的 hdfs-site.xml 中的值。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

httpfs-env

變更 HTTPFS 環境中的值。

Restarts Hadoop Httpfs service.

httpfs-site

變更 Hadoop 中 httpfs-site.xml 檔案的值。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

變更 Hadoop 中 kms-acls.xml 檔案的值。

Not available.

hadoop-kms-env

變更 Hadoop KMS 環境中的值。

Restarts Hadoop-KMS service.

hadoop-kms-java-home

變更 Hadoop 的 KMS Java Home

Not available.

hadoop-kms-log4j

變更 Hadoop 的 kms-log4j.properties 檔案中的值。

Not available.

hadoop-kms-site

變更 Hadoop 中 kms-site.xml 檔案的值。

Restarts Hadoop-KMS.

hudi-env

變更 Hudi 環境中的值。

Not available.

hudi-defaults

變更 Hudi 的 hudi-defaults.conf 檔案中的值。

Not available.

iceberg-defaults

變更 Iceberg 的 iceberg-defaults.conf 檔案中的值。

Not available.

delta-defaults

變更 Delta 的 delta-defaults.conf 檔案中的值。

Not available.

jupyter-notebook-conf

變更 Jupyter 筆記本中 jupyter_notebook_config.py 檔案的值。

Not available.

jupyter-s3-conf

設定 Jupyter 筆記本 S3 持久性。

Not available.

jupyter-sparkmagic-conf

變更 Sparkmagic 中 config.json 檔案的值。

Not available.

livy-conf

變更 Livy 的 livy.conf 檔案中的值。

Restarts Livy Server.

livy-env

變更 Livy 環境中的值。

Restarts Livy Server.

livy-log4j2

變更 Livy log4j2.properties 設定。

Restarts Livy Server.

mapred-env

變更 MapReduce 應用程式環境中的值。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

變更 MapReduce 應用程式 mapred-site.xml 檔案中的值。

Restarts Hadoop MapReduce-HistoryServer.

spark

Apache Spark 的 Amazon EMR 彙整設定。

This property modifies spark-defaults. See actions there.

spark-defaults

變更 Spark 的 spark-defaults.conf 檔案中的值。

Restarts Spark history server and Spark thrift server.

spark-env

變更 Spark 環境中的值。

Restarts Spark history server and Spark thrift server.

spark-hive-site

變更 Spark 的 hive-site.xml 檔案中的值

Not available.

spark-log4j2

變更 Spark 中 log4j2.properties 檔案中的值。

Restarts Spark history server and Spark thrift server.

spark-metrics

變更 Spark 中 metrics.properties 檔案的值。

Restarts Spark history server and Spark thrift server.

yarn-env

變更 YARN 環境中的值。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

變更 YARN 的 yarn-site.xml 檔案中的值。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zookeeper-config

變更 ZooKeeper 的 zoo.cfg 檔案中的值。

Restarts Zookeeper server.

zookeeper-logback

變更 ZooKeeper 的 logback.xml 檔案中的值。

Restarts Zookeeper server.

cloudwatch-logs

設定 EMR 叢集節點的 CloudWatch Logs 整合。

Not available.

emr-metrics

變更此節點的 emr 指標設定。

Restarts the CloudWatchAgent service.

Amazon EMR Spark 8.1.0 變更日誌

Amazon EMR Spark 8.1.0 的變更日誌
日期事件說明
2026-09-08文件出版Amazon EMR Spark 8.1.0 (emr-spark-8.1.0) 版本備註首次發佈