Spark ジョブの AWS Glue の AWS Glue バージョン 4.0 への移行

これは Apache Spark 3.3.0 に基づいていますが、アダプティブクエリ実行、ベクトル化されたリーダー、最適化されたシャッフルとパーティション結合など、AWS Glue での最適化や Amazon EMR が含まれています。

MySQL、Microsoft SQL Server、Oracle、PostgreSQL、MongoDB、アップグレードされた Spark ライブラリなど、すべての AWS Glue ネイティブソース用に JDBC ドライバーをアップグレードしました。依存関係は Spark 3.3.0 によって取り込まれています。

新しい Amazon Redshift コネクタと JDBC ドライバーで更新されました。

EMR File System (EMRFS) をアップグレードして Amazon S3 アクセスを最適化し、デフォルトで Amazon S3 に最適化された出力コミッターが有効になりました。

パーティションインデックス、プッシュダウン述語、パーティションリスト、アップグレードされた Hive メタストアクライアントにより、データカタログアクセスを最適化しました。

セルレベルのフィルタリングとデータレイクトランザクションを備えた管理されたカタログテーブル用の Lake Formation と統合しました。

スタートアップレイテンシーが短縮され、ジョブ全体の完了時間と対話性が改善されます。

Spark ジョブは、1 秒単位で課金され、最小課金時間は 1/10 になります。つまり、最小 10 分が最小 1 分になります。

Apache Hudi、Delta Lake、および Apache Iceberg によるオープンデータレイクフレームワークのネイティブサポート。

Amazon S3 ベースのクラウドシャッフルストレージプラグイン (Apache Spark プラグイン) のネイティブサポート。これにより、Amazon S3 によるシャッフルと伸縮自在なストレージ容量が使用できるようになります。

行レベルのランタイムフィルタリング (SPARK-32268)。

ANSI 拡張機能 (SPARK-38860)。

エラーメッセージの改善 (SPARK-38781)。

Parquet ベクトル化リーダーの複合型のサポート (SPARK-34863)。

Spark SQL の隠しファイルメタデータのサポート (SPARK-37273)。

Python/Pandas UDF 用のプロファイラーを提供 (SPARK-37443)。

Trigger.Once のようなストリーミングクエリを複数のバッチで実行できるように、Trigger.AvailableNow を導入 (SPARK-36533)。

より包括的な Datasource V2 プッシュダウン機能 (SPARK-38788)。

log4j 1 から log4j 2 への移行 (SPARK-37814)。

重要な変更

AWS Glue Studio では、Glue version で Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 を選択します。

API では、UpdateJob API オペレーションの GlueVersion パラメータで 4.0 を選択します。

コンソールでは、Glue version で Spark 3.3, Python 3 (Glue Version 4.0) or Spark 3.3, Scala 2 (Glue Version 3.0) を選択します。

AWS Glue Studio では、Glue version で Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 を選択します。

API では、CreateJob API オペレーションの GlueVersion パラメータで 4.0 を選択します。

ジョブの外部 Python ライブラリが Python 2.7/3.6 に依存していますか。

AWS Glue 3.0 に存在する既存のすべてのジョブパラメータと主要な機能は、AWS Glue 4.0 に存在します。

AWS Glue 3.0 では、Amazon EMR に最適化された Spark 3.1.1 を使用していますが、AWS Glue 4.0 では、Amazon EMR に最適化された Spark 3.3.0 を使用しています。

一部の Spark の変更のみについてですが、削除された機能が参照されないように、スクリプトの修正が必要になる場合があります。

AWS Glue 4.0 には EMRFS と Hadoop のアップデートも含まれています。特定のバージョンについては、「付録 A: 注目すべき依存関係のアップグレード」を参照してください。

ETL ジョブで提供される AWS SDK が 1.11 から 1.12 にアップグレードされました。

すべての Python ジョブは Python バージョン 3.10 を使用します。以前、AWS Glue 3.0 では、Python 3.7 が使用されていました。

その結果、AWS Glue に用意されている pymodule の一部はアップグレードされます。

Log4j は Log4j2 にアップグレードされました。

特定のコネクタの移行については、「AWS Glue 4.0 向けのコネクタと JDBC ドライバーの移行」を参照してください。

AWS Encryption SDK が 1.x から 2.x にアップグレードされました。AWS Glue セキュリティ設定を使用する AWS Glue ジョブや、AWS Encryption SDK の実行時に提供される依存関係に依存するジョブが影響を受けます。AWS Glue ジョブの移行については、次の説明を参照してください。

AWS Glue 2.0/3.0 には既に AWS Encryption SDK ブリッジバージョンが含まれているため、AWS Glue 2.0/3.0 ジョブを AWS Glue 4.0 ジョブに安全にアップグレードできます。

「Upgrading from Spark SQL 3.1 to 3.2」(Spark SQL 3.1 から 3.2 へのアップグレード)

「Upgrading from Spark SQL 3.2 to 3.3」(Spark SQL 3.2 から 3.3 へのアップグレード)

AWS Glue 2.0 に存在する既存のすべてのジョブパラメータと主要な機能は、AWS Glue 4.0 に存在します。

Parquet データを Amazon S3 に書き込むための EMRFS S3 最適化コミッターは、AWS Glue 3.0 以降デフォルトで有効になっています。ただし、--enable-s3-parquet-optimized-committer を false にすることで無効化することができます。

AWS Glue 2.0 では、オープンソースの Spark 2.4 を使用していますが、AWS Glue 4.0 では、Amazon EMR で最適化された Spark 3.3.0 を使用しています。

ETL ジョブで提供される AWS SDK が 1.11 から 1.12 にアップグレードされました。

また、AWS Glue 4.0 の特徴として、EMRFS への更新や JDBC ドライバーの更新が行われ、AWS Glue により Spark 自体に追加された最適化も組み込まれています。

Scala は 2.11 から 2.12 に更新されており、Scala 2.12 には Scala 2.11 との下位互換性がありません。

AWS Glue 2.0 は Python 3.7 と 2.7 しか利用していませんでしたが、Python スクリプトで使用されるデフォルトのバージョンは Python 3.10 になりました。

依存関係の更新については、付録 A: 注目すべき依存関係のアップグレード を参照してください。

既存の AWS Glue 2.0 ジョブで使用されている追加の JAR ファイルは、4.0 で一部の依存関係が 2.0 からアップグレードされたため、依存関係の競合を引き起こす可能性があります。--user-jars-first AWS Glue ジョブパラメータによって、AWS Glue 4.0 でのクラスパスの競合を避けることができます。

AWS Glue 4.0 は Spark 3.3 を使用します。Spark 3.1 以降、parquet ファイルから、または parquet ファイルへのタイムスタンプのロード/保存の動作が変更されています。詳細は「Upgrading from Spark SQL 3.0 to 3.1」を参照してください。

タイムスタンプ列を含むパーケットデータを読み書きする場合は、次のパラメータを設定することをお勧めします。これらのパラメータを設定すると、Spark 2 から Spark 3 へのアップグレード中に発生するカレンダーの非互換性の問題を、AWS Glue ダイナミックフレームとパークデータフレームの両方で解決することができます。CORRECTED オプションは、datetime 値をそのまま読み込むために使用し、LEGACY オプションは読み込む際にカレンダーの違いを考慮して datetime 値をリベースするために使用します。

- Key: --conf
- Value: spark.sql.legacy.parquet.int96RebaseModeInRead=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.int96RebaseModeInWrite=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.datetimeRebaseModeInRead=[CORRECTED|LEGACY]

特定のコネクタの移行については、「AWS Glue 4.0 向けのコネクタと JDBC ドライバーの移行」を参照してください。

AWS Encryption SDK が 1.x から 2.x にアップグレードされました。AWS Glue セキュリティ設定を使用する AWS Glue ジョブや、AWS Encryption SDK の実行時に提供される依存関係に依存するジョブが影響を受けます。AWS Glue ジョブの移行については、次の説明を参照してください。

「Upgrading from Spark SQL 2.4 to 3.0」(Spark SQL 2.4 から 3.0 へのアップグレード)

「Upgrading from Spark SQL 3.1 to 3.2」(Spark SQL 3.1 から 3.2 へのアップグレード)

「Upgrading from Spark SQL 3.2 to 3.3」(Spark SQL 3.2 から 3.3 へのアップグレード)

「Changes in Datetime behavior to be expected since Spark 3.0」(Spark 3.0 以降で予想される日時に関する動作の変化)

AWS Glue 1.0 では、オープンソースの Spark 2.4 を使用していますが、AWS Glue 4.0 では、Amazon EMR で最適化された Spark 3.3.0 を使用しています。

AWS Glue 4.0 のすべてのジョブの実行におけるスタートアップ時間は、大幅に改善されています。スタートアップのレイテンシーが最大 10 分から最大 1 分になるため、Spark ジョブは 1 秒単位で課金され、最小課金時間は 1/10 になります。

AWS Glue 4.0 でログ記録の動作は大幅に変更されました。Spark 3.3.0 では最低でも Log4j2 が必須です。

一部の依存関係の更新があり、付録に記載されています。

Scala も 2.11 から 2.12 に更新されており、Scala 2.12 には Scala 2.11 との下位互換性がありません。

また、AWS Glue 0.9 は Python 2 しか使用していませんでしたが、Python スクリプトで使用されるデフォルトのバージョンは Python 3.10 になりました。

Python 2.7 は、Spark 3.3.0 ではサポートされていません。ジョブ設定で Python 2 をリクエストするジョブはすべて、IllegalArgumentException が発生して失敗します。

AWS Glue 2.0 以降、追加の Python モジュールを pip を通じてインストールする新しいメカニズムが利用可能です。詳細については、「AWS Glue 2.0+ の pip を使用した追加 Python モジュールのインストール」を参照してください。

AWS Glue 4.0 は Apache YARN では実行されないため、YARN の設定は適用されません。

AWS Glue 4.0 には、Hadoop 分散ファイルシステム (HDFS) はありません。

既存の AWS Glue 1.0 ジョブで使用されている追加の JAR ファイルは、4.0 で一部の依存関係が 1.0 からアップグレードされたため、依存関係の競合を引き起こす可能性があります。この問題を避けるため、デフォルトで --user-jars-first AWS Glue ジョブパラメータで AWS Glue 4.0 を有効にしています。

AWS Glue 4.0 は Auto Scaling をサポートしています。そのため、Auto Scaling が有効になっていると、ExecutorAllocationManager メトリクスが使用可能になります。

AWS Glue バージョン 4.0 ジョブでは、ワーカーの数とワーカータイプを指定しますが、maxCapacity は指定しません。

AWS Glue 4.0 はまだ機械学習変換をサポートしていません。

特定のコネクタの移行については、「AWS Glue 4.0 向けのコネクタと JDBC ドライバーの移行」を参照してください。

AWS Encryption SDK が 1.x から 2.x にアップグレードされました。AWS Glue セキュリティ設定を使用する AWS Glue ジョブや、AWS Encryption SDK の実行時に提供される依存関係に依存するジョブが影響を受けます。AWS Glue ジョブの移行については、次の説明を参照してください。

「Upgrading from Spark SQL 2.4 to 3.0」(Spark SQL 2.4 から 3.0 へのアップグレード)

「Upgrading from Spark SQL 3.0 to 3.1」(Spark SQL 3.0 から 3.1 へのアップグレード)

「Upgrading from Spark SQL 3.1 to 3.2」(Spark SQL 3.1 から 3.2 へのアップグレード)

「Upgrading from Spark SQL 3.2 to 3.3」(Spark SQL 3.2 から 3.3 へのアップグレード)

「Changes in Datetime behavior to be expected since Spark 3.0」(Spark 3.0 以降で予想される日時に関する動作の変化)

AWS Glue 0.9 では、オープンソースの Spark 2.2.1 を使用していますが、AWS Glue 4.0 では、Amazon EMR で最適化された Spark 3.3.0 を使用しています。

AWS Glue 4.0 のすべてのジョブの実行におけるスタートアップ時間は、大幅に改善されています。スタートアップのレイテンシーが最大 10 分から最大 1 分になるため、Spark ジョブは 1 秒単位で課金され、最小課金時間は 1/10 になります。

AWS Glue 4.0 以降、ログ記録の動作は大幅に変更されました。ここ (https://spark.apache.org/docs/latest/core-migration-guide.html#upgrading-from-core-32-to-33) に記載されているように、Spark 3.3.0 では最低でも Log4j2 が必須です。

一部の依存関係の更新があり、付録に記載されています。

Scala も 2.11 から 2.12 に更新されており、Scala 2.12 には Scala 2.11 との下位互換性がありません。

また、AWS Glue 0.9 は Python 2 しか使用していませんでしたが、Python スクリプトで使用されるデフォルトのバージョンは Python 3.10 になりました。

AWS Glue 4.0 は Apache YARN では実行されないため、YARN の設定は適用されません。

AWS Glue 4.0 には、Hadoop 分散ファイルシステム (HDFS) はありません。

既存の AWS Glue 0.9 ジョブで使用されている追加の JAR ファイルは、3.0 で一部の依存関係が 0.9 からアップグレードされたため、依存関係の競合を引き起こす可能性があります。--user-jars-first AWS Glue ジョブパラメータによって、AWS Glue 3.0 でのクラスパスの競合を避けることができます。

AWS Glue 4.0 は Auto Scaling をサポートしています。そのため、Auto Scaling が有効になっていると、ExecutorAllocationManager メトリクスが使用可能になります。

AWS Glue バージョン 4.0 ジョブでは、ワーカーの数とワーカータイプを指定しますが、maxCapacity は指定しません。

AWS Glue 4.0 はまだ機械学習変換をサポートしていません。

特定のコネクタの移行については、「AWS Glue 4.0 向けのコネクタと JDBC ドライバーの移行」を参照してください。

AWS Encryption SDK が 1.x から 2.x にアップグレードされました。AWS Glue セキュリティ設定を使用する AWS Glue ジョブや、AWS Encryption SDK の実行時に提供される依存関係に依存するジョブが影響を受けます。AWS Glue ジョブの移行については、次の説明を参照してください。

「Upgrading from Spark SQL 2.2 to 2.3」(Spark SQL 2.2 から 2.3 へのアップグレード)

「Upgrading from Spark SQL 2.3 to 2.4」(Spark SQL 2.3 から 2.4 へのアップグレード)

「Upgrading from Spark SQL 2.4 to 3.0」(Spark SQL 2.4 から 3.0 へのアップグレード)

「Upgrading from Spark SQL 3.0 to 3.1」(Spark SQL 3.0 から 3.1 へのアップグレード)

「Upgrading from Spark SQL 3.1 to 3.2」(Spark SQL 3.1 から 3.2 へのアップグレード)

「Upgrading from Spark SQL 3.2 to 3.3」(Spark SQL 3.2 から 3.3 へのアップグレード)

「Changes in Datetime behavior to be expected since Spark 3.0」(Spark 3.0 以降で予想される日時に関する動作の変化)

付録 B: JDBC ドライバーのアップグレード

付録 C: コネクタのアップグレード

Spark SQL サポートの強化:

バージョン 0.10.0 より前に primaryKey なしで作成された Hudi テーブルは、バージョン 0.10.0 以降、primaryKey フィールドつきで再作成する必要があります。

いくつかの脆弱性 (CVE) に対応しました。

Java 8 はネイティブにサポートされています。

ジョブが配列の配列を使用している場合、バイト配列を除き、この状況は多次元配列として扱うことができます。

現在の MongoDB コネクタは Spark バージョン 3.1 以降と MongoDB バージョン 4.0 以降をサポートしています。

コネクタのアップグレードにより、いくつかのプロパティ名が変更されました。例えば、URI プロパティ名が connection.uri に変更されました。現在のオプションの詳細については、「MongoDB Spark Connector blog」(MongoDB Spark コネクタブログ) を参照してください。

Amazon DocumentDB によってホストされている MongoDB 4.0 を使用することには、いくつかの機能上の違いがあります。詳細については、以下のトピックを参照してください。

「partitioner」オプションは ShardedPartitioner、PaginateIntoPartitionsPartitioner、および SinglePartitionPartitioner に制限されています。ステージ演算子は MongoDB API をサポートしていないため、Amazon DocumentDB にはデフォルトの SamplePartitioner と PaginateBySizePartitioner を使用できません。詳細については、「サポートされている MongoDB API、オペレーション、およびデータ型」を参照してください。

Delta Lake は SQL でのタイムトラベルをサポートし、古いデータを簡単にクエリできるようになりました。今回の更新により、タイムトラベルは Spark SQL と DataFrame API の両方で利用できるようになりました。SQL の現在のバージョンの TIMESTAMP のサポートが追加されました。

Spark 3.3 では、バッチクエリに対する Trigger.Once と同様に、ストリーミングクエリを実行するための Trigger.AvailableNow が導入されています。このサポートは、Delta テーブルをストリーミングソースとして使用する場合にも利用できます。

テーブル内の列のリストを返す SHOW COLUMNS のサポート。

Scala と Python の DeltaTable API での DESCRIBE DETAIL のサポート。DeltaTable API または Spark SQL のいずれかを使用して、Delta テーブルに関する詳細情報を取得します。

SQL Delete、Merge、および Update コマンドからオペレーションメトリクスを返すことのサポート。以前は、これらの SQL コマンドは空の DataFrame を返していましたが、実行されたオペレーションに関する有用なメトリクスを含む DataFrame を返すようになりました。

パフォーマンス向上の最適化:

その他の注目すべき変更点:

スキャンプランニングと Spark クエリのパフォーマンス改善をいくつか追加。

変更ベースのコミットを使用してサービス側のコミット競合を解決する一般的な REST カタログクライアントを追加。

SQL タイムトラベルクエリの AS OF 構文をサポート。

MERGE クエリと UPDATE クエリの読み取り時マージのサポートを追加。

Z オーダーを使用してパーティションを書き換えるサポートを追加。

Theta スケッチやブルームフィルターのような大きな統計やインデックス blob 用の形式である Puffin の仕様と実装を追加。

データを段階的に使用するための新しいインターフェイスを追加 (追加スキャンと変更ログスキャンの両方)。

FileIO インターフェイスへの一括オペレーションと範囲読み取りのサポートを追加。

メタデータツリーに削除ファイルを表示するメタデータテーブルをさらに追加。

ドロップテーブルの動作を変更。Iceberg 0.13.1 では、DROP TABLE を実行するとカタログからテーブルが削除され、テーブルの内容も削除されます。Iceberg 1.0.0 では、DROP TABLE を実行してもカタログからテーブルが削除されるだけです。テーブルの内容を削除するには、DROP TABLE PURGE を使用します。

Iceberg 1.0.0 では、Parquet のベクトル化された読み取りがデフォルトで有効になっています。ベクトル化された読み取りを無効にする場合は、read.parquet.vectorization.enabled を false に設定します。