Spark ジョブの AWS Glue の AWS Glue バージョン 6.0 への移行

Apache Spark が AWS Glue 5.1 の 3.5.6 から AWS Glue 6.0 の 4.1.1 にアップグレードされました。

Scala が 2.12.18 から 2.13.17 にアップグレードされました。

Python 3.11 から 3.13 にアップグレードされました。

オープンテーブルフォーマット (OTF) が Hudi 1.1.1、Iceberg 1.11.0、Delta Lake 4.2.0 に更新されました。

Iceberg 形式バージョン 3 — データ型と既存のメタデータ構造を拡張して以下を含む新機能を追加します。

Spark 宣言型パイプライン (SDP) — SQL または DataFrame API を使用してエンドツーエンドのデータパイプラインを定義するための新しい宣言型フレームワーク。ストリーミングテーブルとマテリアライズドビューをサポートしています。詳細については、「Spark 宣言型パイプライン」を参照してください。

インタラクティブセッション用 Spark Connect — Spark Connect プロトコルを介した AWS Glue インタラクティブセッションへのシンクライアント接続が可能。リモート開発ワークフローをサポートしています。

Arrow ネイティブ Python UDF/UDTF — Apache Arrow 列指向形式をネイティブに使用することで、Python ユーザー定義関数のパフォーマンスが向上しました。

カスタマーマネージドまたはサービス生成の Python 仮想環境 (--python-virtual-env) — ランタイムに AWS Glue が Spark ドライバーとエグゼキューターにアタッチする独自の Python venv を構築して提供し、依存関係管理を完全に制御できます。既存のジョブが AWS Glue 6.0 に移行すると、AWS Glue は必要に応じてこの仮想環境を自動的に生成します。

ストリーミング機能強化 — ステートレスストリーミングのリアルタイムモードとミリ秒レベルのレイテンシー。詳細については、「ストリーミングジョブのリアルタイムモードの有効化」を参照してください。

コネクタのアップグレード — Amazon Redshift、MongoDB、Snowflake、およびその他のコネクタを更新しました。バージョンの詳細については、「付録 C: コネクタのアップグレード」を参照してください。

Spark 4.1 では、ANSI モードがデフォルトで有効になっています。以前はオーバーフロー時に NULL を返していたオペレーション (整数演算、キャスト操作など) で例外がスローされるようになりました。以前の動作を復元するには、spark.sql.ansi.enabled=false を設定します。

Spark 宣言型パイプライン (SDP) は、特定の SQL コンストラクトのサポートが制限された新機能です。現在の制限については、Spark 宣言型パイプライン のドキュメントを参照してください。

Athena SQL では、AWS Glue 6.0 で作成された Iceberg v3 テーブルを読み取ることができません (エラー: Cannot read unsupported version 3)。Athena とのクロスエンジン互換性のために Iceberg v2 を使用してください。

Python 3.13 では、非推奨のモジュールをいくつか削除し、一部の標準ライブラリ関数の動作を変更します。互換性については、Python 3.13 移行ガイドを参照してください。

AWS SDK for Java 2.x の --user-jars-first との互換性 — AWS Glue 6.0 には AWS SDK for Java 2.x バージョン 2.44.6 が含まれています。AWS SDK for Java 2.x の古いバージョンをバンドルするカスタム JAR で --user-jars-first ジョブパラメータを使用すると、ジョブが失敗し、java.lang.NoSuchFieldError または同様のエラーが発生する可能性があります。これらの障害は、カスタム JAR にバンドルされている SDK に、AWS Glue ランタイムが依存するクラス、フィールド、またはメソッドがない場合に発生します。この問題を回避するには、--user-jars-first で提供するカスタム JAR で AWS SDK for Java 2.x バージョン 2.44.6 以降が使用されていることを確認してください。

EMRFS が削除されました。S3A は AWS Glue 6.0 の唯一の S3 ファイルシステムです。com.amazon.ws.emr.hadoop.fs.EmrFileSystem クラスは使用できなくなりました。s3:// パスを使用するジョブは自動的に S3A を使用します。以前に EMRFS 固有の設定 (fs.s3.consistent.* など) を設定した場合は、それらを削除してください。

AWS SDK for Java v1 が削除されました。AWS SDK v2 (2.44.6) のみが使用できます。com.amazonaws.services.* パッケージをインポートするジョブは software.amazon.awssdk.services.* に移行する必要があります。

Scala が 2.12 から 2.13 にアップグレードされました。Scala 2.12 に対してコンパイルされたカスタム JAR は機能しません。Scala 2.13.17 に対して再コンパイルしてください。主な変更: JavaConversions を削除 (CollectionConverters を使用)、MutableList を削除 (ListBuffer を使用)、並列コレクションには個別のインポートが必要です。

Spark 4.1 API の変更:

CreateSession API 検証 — インタラクティブセッションのセッションパラメータに関する追加の検証。以前はサイレントに受け入れられていた無効な設定が、エラーを返す可能性があります。

getResolvedOptions の動作の変更 — 引数のプレフィックスマッチングはデフォルトで無効になっています (allow_abbrev=False)。完全な引数名を使用するか、allow_abbrev=True を getResolvedOptions() に渡して古い動作を復元してください。

AWS Glue Studio では、Glue version で Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 を選択します。

API では、UpdateJob API オペレーションの GlueVersion パラメータで 6.0 を選択します。

コンソールでは、Glue version で Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) を選択します。

AWS Glue Studio では、Glue version で Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 を選択します。

API では、CreateJob API オペレーションの GlueVersion パラメータで 6.0 を選択します。

[Scala] Scala 2.13.17 に対してカスタム JAR を再コンパイルします。JavaConversions を CollectionConverters に置き換えます。

[Python] Python 3.13 互換性のためにコードを更新します。廃止されたモジュール (imp、cgi、cgitb など) の使用を削除します。

[Python] boto3 リファレンスを 1.40 から 1.42 に更新します。

[Spark SQL] ANSI モードの影響に関してクエリを確認します。必要に応じて spark.sql.ansi.enabled=false を追加します。

[SDK] AWS SDK v1 インポート (com.amazonaws.*) を SDK v2 (software.amazon.awssdk.*) に置き換えます。

[S3] EMRFS 固有の設定を削除します。S3A がデフォルトになり、唯一の S3 コネクタになりました。

[依存関係] Scala 2.13 および Spark 4.1 用にコンパイルされたバージョンに --extra-jars を更新します。

S3 ファイルシステム: EMRFS は使用できなくなりました。S3A は唯一の S3 コネクタです。以前に spark.hadoop.fs.s3a.endpoint.region を設定した場合は、引き続き使用してください。設定されていない場合は、VPC エンドポイントまたはネットワーク設定で S3A が正しいリージョンを解決できることを確認します。

Scala バイナリ互換性: AWS Glue 6.0 は Scala 2.13 を使用します。Scala 2.12 でコンパイルされた --extra-jars は、NoSuchMethodError または ClassNotFoundException で失敗します。すべてのカスタム Scala/Java JAR を再コンパイルします。

Spark SQL の動作の変更:

Python バージョン: Python 3.13 がランタイムです。--additional-python-modules 機能は引き続き機能しますが、非推奨です。完全な依存関係管理のために --python-virtual-env への移行を検討してください。

AWS SDK: SDK v2 のみが使用できます。スクリプトが boto3 (Python) を使用している場合、変更は必要ありません。boto3 は引き続き機能します。AWS SDK を直接使用する Scala/Java ジョブの場合は、v2 API に移行してください。

Migration Guide: Spark Core (Apache Spark ウェブサイト)

Migration Guide: SQL, Datasets and DataFrame (Apache Spark ウェブサイト)

Migration Guide: Structured Streaming (Apache Spark ウェブサイト)

Upgrading PySpark (Apache Spark ウェブサイト)

AWS Glue 5.0 から AWS Glue 5.1 に関連する移行ステップについては、「AWS Glue 5.0 から AWS Glue 5.1 への移行」を参照してください。

AWS Glue 4.0 から AWS Glue 5.0 に関連する移行ステップについては、「AWS Glue 4.0 から AWS Glue 5.0 への移行」を参照してください。

AWS Glue 3.0 から AWS Glue 5.0 に関連する移行ステップについては、「AWS Glue 3.0 から AWS Glue 5.0 への移行」を参照してください。

AWS Glue 2.0 から AWS Glue 5.0 に関連する移行ステップについては、「AWS Glue 2.0 から AWS Glue 5.0 への移行」を参照してください。

上記のステップを完了したら、「AWS Glue 5.1 から AWS Glue 6.0 への移行」に従って AWS Glue 6.0 への移行を完了します。

付録 B: JDBC ドライバーのアップグレード

付録 C: コネクタのアップグレード

付録 D: オープンテーブル形式のアップグレード

Iceberg が 1.11.0 にアップグレードされ、Apache Iceberg バージョン 3 仕様を完全にサポートするようになりました。

半構造化データクエリを最適化するためのバリアントシュレッディングを備えた VARIANT データ型。

ナノ秒精度タイムスタンプ。

Geospatial データ型 (Geometry と Geography)

Hudi が 1.1.1 にアップグレードされました。

AWS Lake Formation 登録済みテーブルでの FTA 読み取りおよび書き込みアクセスのサポートを継続します。

Delta Lake が 4.2.0 にアップグレードされました。

AWS Lake Formation 登録済みテーブルでの FTA 読み取りおよび書き込みアクセスのサポートを継続します。

Iceberg ネイティブテーブル暗号化キーはサポートされていません。

Iceberg マルチ引数変換はサポートされていません。

新しい Iceberg v3 データ型は、Spark DataFrames でのみサポートされています。これらの機能は DynamicFrames では機能しません。

AWS Glue Studio の Visual ETL は、新しい Iceberg v3 データ型をサポートしていません。Visual ETL でこれらの新機能を使用する場合は、ETL ジョブを Amazon SageMaker Unified Studio に移行することをお勧めします。

きめ細かなアクセスコントロール (FGAC) は、VARIANT 列ではサポートされていません。

'format-version'='3' で作成された Iceberg テーブルは、Athena SQL では読み取れません (エラー: Cannot read unsupported version 3)。Athena とのクロスエンジン互換性のために Iceberg v2 を使用してください。