View a markdown version of this page

AWS Apache Spark のランタイム (emr-spark-8.1.0) - Amazon EMR
emr-spark-8.1.0 でサポートされているライフサイクルemr-spark-8.1.0 アプリケーションバージョンemr-spark-8.1.0 リリースノートemr-spark-8.1.0 のデフォルト Java バージョンemr-spark-8.1.0 コンポーネントバージョンemr-spark-8.1.0 設定分類Amazon EMR Spark 8.1.0 変更ログ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Apache Spark のランタイム (emr-spark-8.1.0)

emr-spark-8.1.0 でサポートされているライフサイクル

このリリースは、長期サポート (LTS) リリースとして指定されています。次の表は、Amazon EMR Spark 8.1.0 でサポートされているライフサイクルの日付を示しています。

サポートフェーズ 日付
初回リリース日 2026 年 9 月 8 日
標準サポートの終了日 2029 年 9 月 7 日
ライフサイクル終了 2029 年 9 月 8 日

emr-spark-8.1.0 アプリケーションバージョン

このリリースには、、AmazonCloudWatchAgent、、DeltaHudi、Iceberg、JupyterEnterpriseGatewayLivy、および のアプリケーションが含まれていますSpark。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-spark-8.1.0 emr-spark-8.0.0
AWS SDK for Java 2.44.52.41.32
Python 3.11、3.133.11、3.13
Scala 2.13.172.13.16
AmazonCloudWatchAgent1.300034.0-amzn-01.300032.2-amzn-0
Delta4.2.0-amzn-04.0.0-amzn-1-spark
Hudi1.1.1-amzn-01.1.0-amzn-0
Iceberg1.11.0-amzn-01.10.1-amzn-0
JupyterEnterpriseGateway2.6.02.6.0
Livy0.9.0 インキュベーション0.8.0-incubating
Spark4.1.1-amzn-04.0.2-amzn-0

emr-spark-8.1.0 リリースノート

次のリリースノートには、Apache Spark 4.1.1 を搭載した Amazon EMR リリース 8.1.0 (emr-spark-8.1.0) に関する情報が含まれています。

最新情報

  • Apache Spark 4.1.1 — Amazon EMR Spark 8.1.0 には Apache Spark 4.1.1 が含まれています。更新された依存関係には、Scala 2.13.17、Jackson 2.20.0、Parquet-MR 1.16.0 のほか、Spark の新機能、パフォーマンスの向上、バグ修正などがあります。

  • Iceberg v3 仕様による Spark ワークロードのサポート — Amazon EMR Spark 8.1.0 は、Iceberg v3 仕様による Spark ワークロードのサポートを拡張します。このリリースでは、次の v3 機能が追加されました。

    • 地理空間データ型 — Iceberg v3 テーブルは、 GEOMETRYおよび GEOGRAPHY データ型をサポートしています。

    • 地理空間 SQL 関数 — Amazon EMR Spark 8.1.0 は、Iceberg ワークロードの地理空間関数をネイティブにサポートします。地理空間関数を有効にするには、Spark 設定trueで spark.sql.geospatial.enabledを に設定します。Apache Spark 4.1 は、SRID 0、3857、および 4326 のみをサポートしています。以下の関数がサポートされています。

      • st_area(geom)

      • st_asbinary(geo[, endianness])

      • st_collect(geoArray)

      • st_convexhull(geom)

      • st_distance(geom1, geom2)

      • st_dwithin(geom1, geom2, distance)

      • st_geogfromwkb(wkb)

      • st_geomfromwkb(wkb[, srid])

      • st_geomfromwkt(wkt[, srid])

      • st_intersection(geom1, geom2)

      • st_intersects(geom1, geom2)

      • st_length(geom)

      • st_makeline(geomArray)

      • st_setsrid(geo, srid)

      • st_srid(geo)

      • st_within(geom1, geom2)

      • st_x(point)

      • st_y(point)

    • ナノ秒精度タイムスタンプ — Iceberg v3 テーブルはナノ秒精度タイムスタンプ列 (TIMESTAMP(9) および ) をサポートしていますTIMESTAMP_NTZ(9)。

    • バリアントシュレッディング — Iceberg v3 テーブルはバリアントシュレッディングをサポートしています。

    • UNKNOWN データ型 — Iceberg v3 テーブルは、型がまだ定義されていない列UNKNOWNのデータ型をサポートしています。このタイプの列はオプションで、デフォルトで null になり、データファイルに保存されません。

    • デフォルト値 — Iceberg v3 列は宣言されたデフォルト値をサポートします。これは、ライターが列を省略する場合に適用されます。

  • オープンテーブル形式のきめ細かなアクセスコントロールのサポートを拡張 — Amazon EMR Spark 8.1.0 は、オープンテーブル形式 (OTFs。Iceberg は、、DESCRIBE TABLE、SHOW TBLPROPERTIES、SHOW CREATE TABLE、ALTER TABLE table_name WRITE ORDERED BYおよび の追加のオペレーションで FGAC をサポートするようになりましたALTER TABLE table_name WRITE DISTRIBUTED BY。Delta Lake が VACUUMオペレーションの FGAC をサポートするようになりました。

  • Iceberg マテリアライズドビューの増分更新の改善 — 増分更新では、変更データキャプチャによるMerge-on-Readテーブルがサポートされるようになりました。これにより、更新と削除を使用するワークロードの迅速な更新が可能になります。更新は、ファイルごとおよびマニフェストレベルの列統計を使用して、変更の影響を受けるデータファイルのみを読み取ります。

  • 自動検出によるマルチフォーマットマルチカタログのサポート — Spark SQL クエリは、Spark 設定に事前に登録することなく、カタログを名前で参照できるようになりました。サポートされているカタログタイプには、クロスアカウントカタログと S3 Tables フェデレーティッドカタログが含まれ、Iceberg、Delta、Hudi テーブル形式が自動的に検出されます。この機能を有効にするには、次の Spark 設定を追加します。 "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.connector.catalog.redirecting.RedirectingSessionCatalog", "spark.sql.catalogResolver": "com.amazonaws.glue.catalog.redirecting.GlueCatalogResolver"

変更点、機能強化、解決した問題

  • このリリースには、Iceberg、Hudi、Delta のバグ修正と機能改善が含まれています。詳細については、「最新情報」セクションを参照してください。

  • クラスターの起動時のディスク暗号化の検証耐性の向上 — セキュリティ設定でローカルディスク暗号化が有効になっているクラスターは、インスタンスの起動中の一時的なネットワーク接続の遅延に対してより寛容になりました。この変更により、断続的なクラスター起動の失敗が軽減されます。

  • Amazon EMR 設定での UTF-8 マルチバイト文字処理を修正 — Amazon EMR 設定で UTF-8 マルチバイト文字が正しくサポートされるようになりました。これには、アクセント付き文字または非ラテン文字を含む値が含まれます。詳細については、「アプリケーションの設定」を参照してください。

  • シークレットエージェントの起動の信頼性の向上 — シークレットエージェントのセキュリティサービスに関連する Amazon EMR クラスターのプロビジョニングの失敗を引き起こす可能性のある 2 つの問題を修正しました。証明書の作成は、続行する前に HDFS の準備状態を待機し、スタートアップスクリプトは Secret Agent Java プロセスの検出を再試行するようになりました。これらの変更を組み合わせると、ストレージの初期化が遅いか、インスタンスの負荷が高いクラスターでの起動の失敗が減少します。

既知の問題と制限

  • ネイティブ Apache Iceberg テーブル暗号化は、Hive メタストアまたは Iceberg REST カタログを使用する場合にのみ適用されます。 AWS Glue データカタログ (Iceberg REST エンドポイントを含む) と Hadoop カタログでは、これらのプロパティは受け入れられますが強制されません。その結果、データはプレーンテキストで書き込まれます。これらのカタログを使用して保管中の Iceberg テーブルデータを暗号化するには、テーブルの Amazon S3 ロケーションで AWS KMS キーによる Amazon S3 サーバー側の暗号化 (SSE-KMS) を有効にします。

  • 複数の引数を必要とする変換は、Iceberg v3 テーブルではサポートされていません。

emr-spark-8.1.0 のデフォルト Java バージョン

アプリケーションJava/Amazon Corretto バージョン (デフォルトは太字)
Spark17、21
Livy17、11、8
Hadoop17、11、8

emr-spark-8.1.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント バージョン 説明
adot-java-agent1.31.0アプリケーションデーモンからメトリクスを収集する Java エージェント。
delta4.2.0-amzn-0Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。
emr-amazon-cloudwatch-agent1.300034.0-amzn-0Amazon EC2 インスタンスから内部システムレベルのメトリクスとカスタムアプリケーションメトリクスを収集するアプリケーション。
emr-ddb6.1.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.23.0-sparkHadoop エコシステムに役立つ追加のライブラリ。
emr-notebook-env1.18.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.46.0Amazon S3 に最適化された分散コピーアプリケーション。
hadoop-client3.4.2-amzn-3'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.4.2-amzn-3ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library3.4.2-amzn-3HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.4.2-amzn-3ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-hdfs-zkfc3.4.2-amzn-3HA モードのネームノードを追跡するための ZKFC サービス。
hadoop-hdfs-journalnode3.4.2-amzn-3HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。
hadoop-httpfs-server3.4.2-amzn-3HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server3.4.2-amzn-3Hadoop の KeyProvider API に基づく暗号キー管理サーバー。
hadoop-mapred3.4.2-amzn-3MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.4.2-amzn-3個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager3.4.2-amzn-3クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server3.4.2-amzn-3YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hudi1.1.1-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-spark1.1.1-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
iceberg1.11.0-amzn-0Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。
livy-server0.9.0 インキュベーションApache Spark を操作するための REST インターフェイス
nginx1.12.1nginx [engine x] は HTTP およびリバースプロキシサーバー
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda12.5.0Nvidia ドライバーと Cuda ツールキット
r4.3.2統計的コンピューティング用 R プロジェクト
spark-client4.1.1-amzn-0Spark コマンドラインクライアント。
spark-history-server4.1.1-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn4.1.1-amzn-0YARN のメモリ内実行エンジン。
spark-yarn-slave4.1.1-amzn-0YARN スレーブで必要な Apache Spark ライブラリ。
spark-rapids26.04.2-amzn-0GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。
zookeeper-server3.9.3-amzn-8設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.9.3-amzn-8ZooKeeper コマンドラインクライアント。

emr-spark-8.1.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-spark-8.1.0 分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARN の container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARN の container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-java-home

Hadoop の KMS java ホームを変更します。

Not available.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS.

hudi-env

Hudi 環境の値を変更します。

Not available.

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

Not available.

iceberg-defaults

Iceberg の iceberg-defaults.conf ファイルの値を変更します。

Not available.

delta-defaults

Delta の delta-defaults.conf ファイルの値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j2

Livy の log4j2.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

spark

Apache Spark 用の Amazon EMR-curated 設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j2

Spark の log4j2.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zookeeper-config

ZooKeeper の zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-logback

ZooKeeper の logback.xml ファイルの値を変更します。

Restarts Zookeeper server.

cloudwatch-logs

EMR クラスターノードの CloudWatch Logs 統合を設定します。

Not available.

emr-metrics

このノードの emr メトリクス設定を変更します。

Restarts the CloudWatchAgent service.

Amazon EMR Spark 8.1.0 変更ログ

Amazon EMR Spark 8.1.0 の変更ログ
日付[Event] (イベント)説明
2026-09-08ドキュメント公開Amazon EMR Spark 8.1.0 (emr-spark-8.1.0) リリースノートが最初に公開されました