翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# AWS Apache Spark のランタイム (emr-spark-8.1.0)
## emr-spark-8.1.0 でサポートされているライフサイクル
このリリースは、長期サポート (LTS) リリースとして指定されています。次の表は、Amazon EMR Spark 8.1.0 でサポートされているライフサイクルの日付を示しています。
| サポートフェーズ | 日付 |
| --- | --- |
| 初回リリース日 | 2026 年 9 月 8 日 |
| 標準サポートの終了日 | 2029 年 9 月 7 日 |
| ライフサイクル終了 | 2029 年 9 月 8 日 |
## emr-spark-8.1.0 アプリケーションバージョン
このリリースには、、[AmazonCloudWatchAgent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Install-CloudWatch-Agent.html)、、[Delta](https://delta.io/)[Hudi](https://hudi.apache.org)、[Iceberg](https://iceberg.apache.org/)、[JupyterEnterpriseGateway](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)[Livy](https://livy.incubator.apache.org/)、および のアプリケーションが含まれています[Spark](https://spark.apache.org/docs/latest/)。
以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。
Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
+ [Amazon EMR 7.x リリースのアプリケーションバージョン](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x リリースのアプリケーションバージョン](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x リリースのアプリケーションバージョン](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x リリースのアプリケーションバージョン](emr-release-app-versions-4.x.md)
**アプリケーションバージョン情報**
| | emr-spark-8.1.0 | emr-spark-8.0.0 |
| --- | --- | --- |
| AWS SDK for Java | 2.44.5 | 2.41.32 |
| Python | 3.11、3.13 | 3.11、3.13 |
| Scala | 2.13.17 | 2.13.16 |
| AmazonCloudWatchAgent | 1.300034.0-amzn-0 | 1.300032.2-amzn-0 |
| Delta | 4.2.0-amzn-0 | 4.0.0-amzn-1-spark |
| Hudi | 1.1.1-amzn-0 | 1.1.0-amzn-0 |
| Iceberg | 1.11.0-amzn-0 | 1.10.1-amzn-0 |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 |
| Livy | 0.9.0 インキュベーション | 0.8.0-incubating |
| Spark | 4.1.1-amzn-0 | 4.0.2-amzn-0 |
## emr-spark-8.1.0 リリースノート
次のリリースノートには、Apache Spark 4.1.1 を搭載した Amazon EMR リリース 8.1.0 (emr-spark-8.1.0) に関する情報が含まれています。
### 最新情報
+ **Apache Spark 4.1.1** — Amazon EMR Spark 8.1.0 には Apache Spark 4.1.1 が含まれています。更新された依存関係には、Scala 2.13.17、Jackson 2.20.0、Parquet-MR 1.16.0 のほか、Spark の新機能、パフォーマンスの向上、バグ修正などがあります。
+ **Iceberg v3 仕様による Spark ワークロードのサポート** — Amazon EMR Spark 8.1.0 は、Iceberg v3 仕様による Spark ワークロードのサポートを拡張します。このリリースでは、次の v3 機能が追加されました。
+ **地理空間データ型** — Iceberg v3 テーブルは、 `GEOMETRY`および `GEOGRAPHY` データ型をサポートしています。
+ **地理空間 SQL 関数** — Amazon EMR Spark 8.1.0 は、Iceberg ワークロードの地理空間関数をネイティブにサポートします。地理空間関数を有効にするには、Spark 設定`true`で `spark.sql.geospatial.enabled`を に設定します。Apache Spark 4.1 は、SRID 0、3857、および 4326 のみをサポートしています。以下の関数がサポートされています。
+ `st_area(geom)`
+ `st_asbinary(geo[, endianness])`
+ `st_collect(geoArray)`
+ `st_convexhull(geom)`
+ `st_distance(geom1, geom2)`
+ `st_dwithin(geom1, geom2, distance)`
+ `st_geogfromwkb(wkb)`
+ `st_geomfromwkb(wkb[, srid])`
+ `st_geomfromwkt(wkt[, srid])`
+ `st_intersection(geom1, geom2)`
+ `st_intersects(geom1, geom2)`
+ `st_length(geom)`
+ `st_makeline(geomArray)`
+ `st_setsrid(geo, srid)`
+ `st_srid(geo)`
+ `st_within(geom1, geom2)`
+ `st_x(point)`
+ `st_y(point)`
+ **ナノ秒精度タイムスタンプ** — Iceberg v3 テーブルはナノ秒精度タイムスタンプ列 (`TIMESTAMP(9)` および ) をサポートしています`TIMESTAMP_NTZ(9)`。
+ **バリアントシュレッディング** — Iceberg v3 テーブルはバリアントシュレッディングをサポートしています。
+ **`UNKNOWN` データ型** — Iceberg v3 テーブルは、型がまだ定義されていない列`UNKNOWN`のデータ型をサポートしています。このタイプの列はオプションで、デフォルトで null になり、データファイルに保存されません。
+ **デフォルト値** — Iceberg v3 列は宣言されたデフォルト値をサポートします。これは、ライターが列を省略する場合に適用されます。
+ **オープンテーブル形式のきめ細かなアクセスコントロールのサポートを拡張 —** Amazon EMR Spark 8.1.0 は、オープンテーブル形式 (OTFs。Iceberg は、、`DESCRIBE TABLE`、`SHOW TBLPROPERTIES`、`SHOW CREATE TABLE`、`ALTER TABLE table_name WRITE ORDERED BY`および の追加のオペレーションで FGAC をサポートするようになりました`ALTER TABLE table_name WRITE DISTRIBUTED BY`。Delta Lake が `VACUUM`オペレーションの FGAC をサポートするようになりました。
+ **Iceberg マテリアライズドビューの増分更新の改善** — 増分更新では、変更データキャプチャによるMerge-on-Readテーブルがサポートされるようになりました。これにより、更新と削除を使用するワークロードの迅速な更新が可能になります。更新は、ファイルごとおよびマニフェストレベルの列統計を使用して、変更の影響を受けるデータファイルのみを読み取ります。
+ **自動検出によるマルチフォーマットマルチカタログのサポート** — Spark SQL クエリは、Spark 設定に事前に登録することなく、カタログを名前で参照できるようになりました。サポートされているカタログタイプには、クロスアカウントカタログと S3 Tables フェデレーティッドカタログが含まれ、Iceberg、Delta、Hudi テーブル形式が自動的に検出されます。この機能を有効にするには、次の Spark 設定を追加します。 `"spark.sql.catalog.spark_catalog": "org.apache.spark.sql.connector.catalog.redirecting.RedirectingSessionCatalog", "spark.sql.catalogResolver": "com.amazonaws.glue.catalog.redirecting.GlueCatalogResolver"`
### 変更点、機能強化、解決した問題
+ このリリースには、Iceberg、Hudi、Delta のバグ修正と機能改善が含まれています。詳細については、「最新情報」セクションを参照してください。
+ **クラスターの起動時のディスク暗号化の検証耐性の向上** — セキュリティ設定でローカルディスク暗号化が有効になっているクラスターは、インスタンスの起動中の一時的なネットワーク接続の遅延に対してより寛容になりました。この変更により、断続的なクラスター起動の失敗が軽減されます。
+ **Amazon EMR 設定での UTF-8 マルチバイト文字処理を修正** — Amazon EMR 設定で UTF-8 マルチバイト文字が正しくサポートされるようになりました。これには、アクセント付き文字または非ラテン文字を含む値が含まれます。詳細については、「[アプリケーションの設定](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html)」を参照してください。
+ **シークレットエージェントの起動の信頼性の向上** — シークレットエージェントのセキュリティサービスに関連する Amazon EMR クラスターのプロビジョニングの失敗を引き起こす可能性のある 2 つの問題を修正しました。証明書の作成は、続行する前に HDFS の準備状態を待機し、スタートアップスクリプトは Secret Agent Java プロセスの検出を再試行するようになりました。これらの変更を組み合わせると、ストレージの初期化が遅いか、インスタンスの負荷が高いクラスターでの起動の失敗が減少します。
### 既知の問題と制限
+ ネイティブ Apache Iceberg テーブル暗号化は、Hive メタストアまたは Iceberg REST カタログを使用する場合にのみ適用されます。 AWS Glue データカタログ (Iceberg REST エンドポイントを含む) と Hadoop カタログでは、これらのプロパティは受け入れられますが強制されません。その結果、データはプレーンテキストで書き込まれます。これらのカタログを使用して保管中の Iceberg テーブルデータを暗号化するには、テーブルの Amazon S3 ロケーションで AWS KMS キーによる Amazon S3 サーバー側の暗号化 (SSE-KMS) を有効にします。
+ 複数の引数を必要とする変換は、Iceberg v3 テーブルではサポートされていません。
## emr-spark-8.1.0 のデフォルト Java バージョン
| アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) |
| --- | --- |
| Spark | 17、21 |
| Livy | 17、11、8 |
| Hadoop | 17、11、8 |
## emr-spark-8.1.0 コンポーネントバージョン
このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、`emr` または `aws` で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。
Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、`{{CommunityVersion}}-amzn-{{EmrVersion}}` の形式のバージョンラベルがあります。`{{EmrVersion}}` は 0 から始まります。例えば、バージョン 2.2 の `myapp-component` というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは `2.2-amzn-2` として表示されます。
| コンポーネント | バージョン | 説明 |
| --- | --- | --- |
| adot-java-agent | 1.31.0 | アプリケーションデーモンからメトリクスを収集する Java エージェント。 |
| delta | 4.2.0-amzn-0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 |
| emr-amazon-cloudwatch-agent | 1.300034.0-amzn-0 | Amazon EC2 インスタンスから内部システムレベルのメトリクスとカスタムアプリケーションメトリクスを収集するアプリケーション。 |
| emr-ddb | 6.1.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
| emr-goodies | 3.23.0-spark | Hadoop エコシステムに役立つ追加のライブラリ。 |
| emr-notebook-env | 1.18.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env |
| emr-s3-dist-cp | 2.46.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
| hadoop-client | 3.4.2-amzn-3 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
| hadoop-hdfs-datanode | 3.4.2-amzn-3 | ブロックを保存する HDFS ノードレベルのサービス。 |
| hadoop-hdfs-library | 3.4.2-amzn-3 | HDFS コマンドラインクライアントとライブラリ |
| hadoop-hdfs-namenode | 3.4.2-amzn-3 | ファイル名を追跡し、場所をブロックする HDFS サービス。 |
| hadoop-hdfs-zkfc | 3.4.2-amzn-3 | HA モードのネームノードを追跡するための ZKFC サービス。 |
| hadoop-hdfs-journalnode | 3.4.2-amzn-3 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 |
| hadoop-httpfs-server | 3.4.2-amzn-3 | HDFS オペレーションの HTTP エンドポイント。 |
| hadoop-kms-server | 3.4.2-amzn-3 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 |
| hadoop-mapred | 3.4.2-amzn-3 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 |
| hadoop-yarn-nodemanager | 3.4.2-amzn-3 | 個別のノードでコンテナを管理する YARN サービス。 |
| hadoop-yarn-resourcemanager | 3.4.2-amzn-3 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 |
| hadoop-yarn-timeline-server | 3.4.2-amzn-3 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 |
| hudi | 1.1.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 |
| hudi-spark | 1.1.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 |
| iceberg | 1.11.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 |
| livy-server | 0.9.0 インキュベーション | Apache Spark を操作するための REST インターフェイス |
| nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー |
| mariadb-server | 5.5.68\+ | MariaDB データベースサーバー。 |
| nvidia-cuda | 12.5.0 | Nvidia ドライバーと Cuda ツールキット |
| r | 4.3.2 | 統計的コンピューティング用 R プロジェクト |
| spark-client | 4.1.1-amzn-0 | Spark コマンドラインクライアント。 |
| spark-history-server | 4.1.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
| spark-on-yarn | 4.1.1-amzn-0 | YARN のメモリ内実行エンジン。 |
| spark-yarn-slave | 4.1.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 |
| spark-rapids | 26.04.2-amzn-0 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 |
| zookeeper-server | 3.9.3-amzn-8 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 |
| zookeeper-client | 3.9.3-amzn-8 | ZooKeeper コマンドラインクライアント。 |
## emr-spark-8.1.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、`hive-site.xml` などのアプリケーションの構成 XML ファイルに対応します。詳細については、「[アプリケーションの設定](emr-configure-apps.md)」を参照してください。
再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「[実行中のクラスター内のインスタンスグループの再設定](emr-configure-apps-running-cluster.md)」を参照してください。
**emr-spark-8.1.0 分類**
| 分類 | 説明 | 再設定アクション |
| --- | --- | --- |
| capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. |
| container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. |
| core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 関連の設定を変更します。 | Not available. |
| hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. |
| hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. |
| hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. |
| hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
| hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. |
| hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. |
| hadoop-kms-java-home | Hadoop の KMS java ホームを変更します。 | Not available. |
| hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. |
| hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS. |
| hudi-env | Hudi 環境の値を変更します。 | Not available. |
| hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. |
| iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. |
| delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. |
| jupyter-notebook-conf | Jupyter Notebook の jupyter\_notebook\_config.py ファイルの値を変更します。 | Not available. |
| jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. |
| livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. |
| livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. |
| livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. |
| mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
| spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. |
| spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
| yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. |
| zookeeper-logback | ZooKeeper の logback.xml ファイルの値を変更します。 | Restarts Zookeeper server. |
| cloudwatch-logs | EMR クラスターノードの CloudWatch Logs 統合を設定します。 | Not available. |
| emr-metrics | このノードの emr メトリクス設定を変更します。 | Restarts the CloudWatchAgent service. |
## Amazon EMR Spark 8.1.0 変更ログ
**Amazon EMR Spark 8.1.0 の変更ログ**
| 日付 | [Event] (イベント) | 説明 |
| --- | --- | --- |
| 2026-09-08 | ドキュメント公開 | Amazon EMR Spark 8.1.0 (emr-spark-8.1.0) リリースノートが最初に公開されました |