AWS Glue 最新バージョンを使用する

新しい最適化された Apache Spark 3.3.0 ランタイム – AWS Glue 4.0 は Apache Spark 3.3.0 ランタイムに基づいて構築され、オープンソースの Spark と同等のパフォーマンスの向上を実現します。Spark 3.3.0 ランタイムは、Spark 2.x の多くのイノベーションに基づいています。

拡張 Amazon Redshift コネクタ – AWS Glue 4.0 以降のバージョンでは、Apache Spark 用の Amazon Redshift 統合が提供されます。統合は既存のオープンソースコネクタ上に構築され、パフォーマンスとセキュリティを強化します。統合により、アプリケーションのパフォーマンスが最大 10 倍速くなります。詳細については、Amazon Redshift と Apache Spark の統合に関するブログ記事を参照してください。

バージョン 3.0 以降のバージョンではSIMDCSV、 および JSON データを使用したベクトル化された読み取りの ベースの実行により、行ベースのリーダーと比較して全体的なジョブパフォーマンスを大幅に高速化できる最適化されたリーダーが追加されます。 AWS Glue CSV データの詳細については、「ベクトル化されたSIMDCSVリーダーによる読み取りパフォーマンスの最適化」を参照してください。JSON データの詳細については、「Apache Arrow 列形式 でベクトル化されたSIMDJSONリーダーを使用する」を参照してください。