Migrasi AWS Glue untuk pekerjaan Spark ke versi 4.0 AWS Glue

Ini didasarkan pada Apache Spark 3.3.0, tetapi mencakup pengoptimalan di, AWS Glue dan Amazon EMR, seperti proses kueri adaptif, pembaca vektor, dan pengocokan dan penggabungan partisi yang dioptimalkan.

Driver JDBC yang ditingkatkan untuk semua sumber AWS Glue asli termasuk MySQL, Microsoft SQL Server, Oracle, PostgreSQL, MongoDB, dan pustaka dan dependensi Spark yang ditingkatkan yang dibawa oleh Spark 3.3.0.

Diperbarui dengan konektor Amazon Redshift baru dan driver JDBC.

Akses Amazon S3 yang dioptimalkan dengan Sistem File EMR (EMRFS) yang ditingkatkan dan mengaktifkan penghasil keluaran Amazon S3 yang dioptimalkan, secara default.

Akses Katalog Data yang Dioptimalkan dengan indeks partisi, predikat pushdown, daftar partisi, dan klien metastore Hive yang ditingkatkan.

Integrasi dengan Lake Formation untuk tabel katalog yang diatur dengan penyaringan tingkat sel dan transaksi data lake.

Mengurangi latensi startup untuk meningkatkan waktu penyelesaian pekerjaan secara keseluruhan dan interaktivitas.

Pekerjaan Spark ditagih dalam kenaikan 1 detik dengan durasi penagihan minimum 10x lebih rendah—dari minimum 10 menit hingga minimum 1 menit.

Dukungan asli untuk kerangka kerja danau data terbuka dengan Apache Hudi, Delta Lake, dan Apache Iceberg.

Dukungan asli untuk Plugin Penyimpanan Cloud Shuffle berbasis Amazon S3 (plugin Apache Spark) untuk menggunakan Amazon S3 untuk pengocokan dan kapasitas penyimpanan elastis.

Pemfilteran runtime tingkat baris (SPARK-32268).

Penyempurnaan ANSI (SPARK-38860).

Perbaikan pesan kesalahan (SPARK-38781).

Support tipe kompleks untuk pembaca vektor Parket (SPARK-34863).

Dukungan metadata file tersembunyi untuk Spark SQL (SPARK-37273).

Menyediakan profiler untuk Python/Pandas UDFs (SPARK-37443).

Perkenalkan Trigger. AvailableNow untuk menjalankan kueri streaming seperti Trigger.Once dalam beberapa batch (SPARK-36533).

Kemampuan pushdown Datasource V2 yang lebih komprehensif (SPARK-38788).

Bermigrasi dari log4j 1 ke log4j 2 (SPARK-37814).

Melanggar perubahan

Di AWS Glue Studio, pilih Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 diGlue version.

Di API, pilih GlueVersion parameter 4.0 dalam operasi UpdateJobAPI.

Di konsol, pilih Spark 3.3, Python 3 (Glue Version 4.0) or Spark 3.3, Scala 2 (Glue Version 3.0) diGlue version.

Di AWS Glue Studio, pilih Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 diGlue version.

Di API, pilih GlueVersion parameter 4.0 dalam operasi CreateJobAPI.

Apakah pustaka Python eksternal pekerjaan Anda bergantung pada Python 2.7/3.6?

Semua parameter pekerjaan yang ada dan fitur utama yang ada di AWS Glue 3.0 akan ada di AWS Glue 4.0.

AWS Glue3.0 menggunakan Spark 3.1.1 yang dioptimalkan oleh Amazon EMR, dan AWS Glue 4.0 menggunakan Spark 3.3.0 yang dioptimalkan oleh Amazon EMR.

Beberapa perubahan Spark saja mungkin memerlukan revisi skrip Anda untuk memastikan bahwa fitur yang dihapus tidak direferensikan.

AWS Glue4.0 juga dilengkapi pembaruan untuk EMRFS dan Hadoop. Untuk versi tertentu, lihatLampiran A: Peningkatan ketergantungan penting.

AWSSDK yang disediakan dalam pekerjaan ETL sekarang ditingkatkan dari 1,11 menjadi 1,12.

Semua pekerjaan Python akan menggunakan Python versi 3.10. Sebelumnya, Python 3.7 digunakan di 3.0. AWS Glue

Akibatnya, beberapa pymodules yang dibawa out-of-the-box oleh AWS Glue ditingkatkan.

Log4j telah ditingkatkan ke Log4j2.

Untuk memigrasikan konektor tertentu, lihatKonektor dan migrasi driver JDBC untuk 4.0 AWS Glue.

AWSEncryption SDK ditingkatkan dari 1.x ke 2.x. AWS Gluepekerjaan yang menggunakan konfigurasi AWS Glue keamanan dan pekerjaan yang bergantung pada dependensi SDK AWS Enkripsi yang disediakan dalam runtime terpengaruh. Lihat petunjuk untuk migrasi AWS Glue pekerjaan.

Anda dapat dengan aman memutakhirkan pekerjaan AWS Glue 2.0/3.0 ke pekerjaan AWS Glue 4.0 karena AWS Glue 2.0/3.0 sudah berisi versi jembatan SDK AWS Enkripsi.

Upgrade dari Spark SQL 3.1 ke 3.2

Upgrade dari Spark SQL 3.2 ke 3.3

Semua parameter pekerjaan yang ada dan fitur utama yang ada di AWS Glue 2.0 akan ada di AWS Glue 4.0.

Komitter yang dioptimalkan EMRFS S3 untuk menulis data Parket ke Amazon S3 diaktifkan secara default sejak 3.0. AWS Glue Namun, Anda masih dapat menonaktifkannya dengan menyetel --enable-s3-parquet-optimized-committer kefalse.

AWS Glue2.0 menggunakan sumber terbuka Spark 2.4 dan AWS Glue 4.0 menggunakan Spark 3.3.0 yang dioptimalkan oleh Amazon EMR.

AWSSDK yang disediakan dalam pekerjaan ETL sekarang ditingkatkan dari 1,11 menjadi 1,12.

AWS Glue4.0 juga dilengkapi pembaruan untuk EMRFS, driver JDBC yang diperbarui, dan inklusi pengoptimalan tambahan ke Spark sendiri yang disediakan oleh. AWS Glue

Scala diperbarui ke 2.12 dari 2.11, dan Scala 2.12 tidak kompatibel dengan Scala 2.11.

Python 3.10 adalah versi default yang digunakan untuk skrip Python, karena 2.0 AWS Glue hanya menggunakan Python 3.7 dan 2.7.

Beberapa pembaruan ketergantungan, disorot dalamLampiran A: Peningkatan ketergantungan penting.

File JAR tambahan apa pun yang disediakan dalam pekerjaan AWS Glue 2.0 yang ada mungkin membawa dependensi yang bertentangan karena ada peningkatan di beberapa dependensi di 4.0 dari 2.0. Anda dapat menghindari konflik classpath di AWS Glue 4.0 dengan parameter --user-jars-first AWS Glue pekerjaan.

AWS Glue4.0 menggunakan Spark 3.3. Dimulai dengan Spark 3.1, terjadi perubahan perilaku memuat/menyimpan stempel waktu dari/ke file parket. Untuk detail selengkapnya, lihat Memutakhirkan dari Spark SQL 3.0 ke 3.1.

Kami merekomendasikan untuk mengatur parameter berikut saat membaca/menulis data parket yang berisi kolom stempel waktu. Menyetel parameter tersebut dapat menyelesaikan masalah ketidakcocokan kalender yang terjadi selama peningkatan Spark 2 ke Spark 3, untuk AWS Glue Dynamic Frame dan Spark Data Frame. Gunakan opsi CORRECTED untuk membaca nilai datetime apa adanya; dan opsi LEGACY untuk rebase nilai datetime sehubungan dengan perbedaan kalender selama membaca.

- Key: --conf
- Value: spark.sql.legacy.parquet.int96RebaseModeInRead=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.int96RebaseModeInWrite=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.datetimeRebaseModeInRead=[CORRECTED|LEGACY]

Untuk memigrasikan konektor tertentu, lihatKonektor dan migrasi driver JDBC untuk 4.0 AWS Glue.

AWSEncryption SDK ditingkatkan dari 1.x ke 2.x. AWS Gluepekerjaan yang menggunakan konfigurasi AWS Glue keamanan dan pekerjaan yang bergantung pada dependensi SDK AWS Enkripsi yang disediakan dalam runtime terpengaruh. Lihat petunjuk ini untuk migrasi AWS Glue pekerjaan:

Upgrade dari Spark SQL 2.4 ke 3.0

Upgrade dari Spark SQL 3.1 ke 3.2

Upgrade dari Spark SQL 3.2 ke 3.3

Perubahan perilaku Datetime diharapkan sejak Spark 3.0.

AWS Glue1.0 menggunakan sumber terbuka Spark 2.4 dan AWS Glue 4.0 menggunakan Spark 3.3.0 yang dioptimalkan oleh Amazon EMR.

Semua pekerjaan di AWS Glue 4.0 akan dijalankan dengan waktu startup yang ditingkatkan secara signifikan. Pekerjaan Spark akan ditagih dalam kenaikan 1 detik dengan durasi penagihan minimum 10x lebih rendah karena latensi startup akan meningkat dari maksimum 10 menit menjadi maksimum 1 menit.

Perilaku logging telah berubah secara signifikan di AWS Glue 4.0, Spark 3.3.0 memiliki persyaratan minimum Log4j2.

Beberapa pembaruan ketergantungan, disorot dalam lampiran.

Scala juga diperbarui ke 2.12 dari 2.11, dan Scala 2.12 tidak kompatibel dengan Scala 2.11.

Python 3.10 juga merupakan versi default yang digunakan untuk skrip Python, karena 0.9 AWS Glue hanya menggunakan Python 2.

Python 2.7 tidak didukung dengan Spark 3.3.0. Pekerjaan apa pun yang meminta Python 2 dalam konfigurasi pekerjaan akan gagal dengan file. IllegalArgumentException

Mekanisme baru untuk menginstal modul Python tambahan melalui pip tersedia sejak 2.0. AWS Glue Untuk informasi selengkapnya, lihat Menginstal modul Python tambahan dengan pip di 2.0+. AWS Glue

AWS Glue4.0 tidak berjalan di Apache YARN, jadi pengaturan YARN tidak berlaku.

AWS Glue4.0 tidak memiliki Hadoop Distributed File System (HDFS).

File JAR tambahan apa pun yang disediakan dalam pekerjaan AWS Glue 1.0 yang ada mungkin membawa dependensi yang bertentangan karena ada peningkatan di beberapa dependensi di 4.0 dari 1.0. Kami mengaktifkan AWS Glue 4.0 dengan parameter --user-jars-first AWS Glue pekerjaan secara default, untuk menghindari masalah ini.

AWS Glue4.0 mendukung penskalaan otomatis. Oleh karena itu, ExecutorAllocationManager metrik akan tersedia saat penskalaan otomatis diaktifkan.

Dalam pekerjaan AWS Glue versi 4.0, Anda menentukan jumlah pekerja dan jenis pekerja, tetapi tidak menentukanmaxCapacity.

AWS Glue4.0 belum mendukung transformasi pembelajaran mesin.

Untuk memigrasikan konektor tertentu, lihatKonektor dan migrasi driver JDBC untuk 4.0 AWS Glue.

AWSEncryption SDK ditingkatkan dari 1.x ke 2.x. AWS Gluepekerjaan yang menggunakan konfigurasi AWS Glue keamanan dan pekerjaan yang bergantung pada dependensi SDK AWS Enkripsi yang disediakan dalam runtime terpengaruh. Lihat petunjuk ini untuk migrasi AWS Glue pekerjaan.

Upgrade dari Spark SQL 2.4 ke 3.0

Upgrade dari Spark SQL 3.0 ke 3.1

Upgrade dari Spark SQL 3.1 ke 3.2

Upgrade dari Spark SQL 3.2 ke 3.3

Perubahan perilaku Datetime diharapkan sejak Spark 3.0.

AWS Glue0.9 menggunakan Spark 2.2.1 dan AWS Glue 4.0 open-source menggunakan Spark 3.3.0 yang dioptimalkan oleh Amazon EMR.

Semua pekerjaan di AWS Glue 4.0 akan dijalankan dengan waktu startup yang ditingkatkan secara signifikan. Pekerjaan Spark akan ditagih dalam kenaikan 1 detik dengan durasi penagihan minimum 10x lebih rendah karena latensi startup akan meningkat dari maksimum 10 menit menjadi maksimum 1 menit.

Perilaku logging telah berubah secara signifikan sejak AWS Glue 4.0, Spark 3.3.0 memiliki persyaratan minimum Log4j2 seperti yang disebutkan di sini (https://spark.apache.org/docs/latest/ .html# -32-to-33). core-migration-guide upgrading-from-core

Beberapa pembaruan ketergantungan, disorot dalam lampiran.

Scala juga diperbarui ke 2.12 dari 2.11, dan Scala 2.12 tidak kompatibel dengan Scala 2.11.

Python 3.10 juga merupakan versi default yang digunakan untuk skrip Python, karena 0.9 AWS Glue hanya menggunakan Python 2.

AWS Glue4.0 tidak berjalan di Apache YARN, jadi pengaturan YARN tidak berlaku.

AWS Glue4.0 tidak memiliki Hadoop Distributed File System (HDFS).

File JAR tambahan apa pun yang disediakan dalam AWS Glue 0.9 pekerjaan yang ada mungkin membawa dependensi yang bertentangan karena ada peningkatan di beberapa dependensi di 3.0 dari 0.9. Anda dapat menghindari konflik classpath di AWS Glue 3.0 dengan parameter --user-jars-first AWS Glue pekerjaan.

AWS Glue4.0 mendukung penskalaan otomatis. Oleh karena itu, ExecutorAllocationManager metrik akan tersedia saat penskalaan otomatis diaktifkan.

Dalam pekerjaan AWS Glue versi 4.0, Anda menentukan jumlah pekerja dan jenis pekerja, tetapi tidak menentukanmaxCapacity.

AWS Glue4.0 belum mendukung transformasi pembelajaran mesin.

Untuk memigrasikan konektor tertentu, lihatKonektor dan migrasi driver JDBC untuk 4.0 AWS Glue.

AWSEncryption SDK ditingkatkan dari 1.x ke 2.x. AWS Gluepekerjaan yang menggunakan konfigurasi AWS Glue keamanan dan pekerjaan yang bergantung pada dependensi SDK AWS Enkripsi yang disediakan dalam runtime akan terpengaruh. Lihat petunjuk ini untuk migrasi AWS Glue pekerjaan.

Upgrade dari Spark SQL 2.2 ke 2.3

Upgrade dari Spark SQL 2.3 ke 2.4

Upgrade dari Spark SQL 2.4 ke 3.0

Upgrade dari Spark SQL 3.0 ke 3.1

Upgrade dari Spark SQL 3.1 ke 3.2

Upgrade dari Spark SQL 3.2 ke 3.3

Perubahan perilaku Datetime diharapkan sejak Spark 3.0.

Lampiran B: Peningkatan driver JDBC

Lampiran C: Peningkatan konektor

Peningkatan dukungan Spark SQL:

Setiap tabel Hudi yang dibuat sebelum versi 0.10.0 tanpa primaryKey perlu dibuat ulang dengan primaryKey bidang sejak versi 0.10.0.

Beberapa kerentanan (CVE) telah diatasi.

Java 8 didukung secara native.

Jika pekerjaan menggunakan Array Array, dengan pengecualian array byte, skenario ini dapat diperlakukan sebagai array multidimensi.

Konektor MongoDB saat ini mendukung Spark versi 3.1 atau yang lebih baru dan MongoDB versi 4.0 atau yang lebih baru.

Karena peningkatan konektor, beberapa nama properti berubah. Misalnya, nama properti URI diubah menjadiconnection.uri. Untuk informasi lebih lanjut tentang opsi saat ini, lihat blog MongoDB Spark Connector.

Menggunakan MongoDB 4.0 yang dihosting oleh Amazon DocumentDB memiliki beberapa perbedaan fungsional. Untuk informasi lebih lanjut, lihat topik-topik ini:

Opsi “partisi” dibatasi untukShardedPartitioner,PaginateIntoPartitionsPartitioner, dan. SinglePartitionPartitioner Itu tidak dapat menggunakan default SamplePartitioner dan PaginateBySizePartitioner untuk Amazon DocumentDB karena operator panggung tidak mendukung API MongoDB. Untuk informasi selengkapnya, lihat API, Operasi, dan Jenis Data MongoDB yang Didukung.

Delta Lake sekarang mendukung perjalanan waktu di SQL untuk menanyakan data lama dengan mudah. Dengan pembaruan ini, perjalanan waktu sekarang tersedia baik di Spark SQL maupun melalui API. DataFrame Support telah ditambahkan untuk versi TIMESTAMP saat ini di SQL.

Spark 3.3 memperkenalkan Trigger. AvailableNowuntuk menjalankan kueri streaming sebagai setara dengan Trigger.Once untuk kueri batch. Dukungan ini juga tersedia saat menggunakan tabel Delta sebagai sumber streaming.

Support untuk SHOW COLUMNS untuk mengembalikan daftar kolom dalam tabel.

Support untuk DESKRIPTION DETAIL di Scala dan DeltaTable Python API. Ini mengambil informasi rinci tentang tabel Delta menggunakan DeltaTable API atau Spark SQL.

Support untuk mengembalikan metrik operasi dari perintah SQL Delete, Merge, dan Update. Sebelumnya perintah SQL ini mengembalikan kosong DataFrame, sekarang mereka mengembalikan DataFrame dengan metrik yang berguna tentang operasi yang dilakukan.

Optimalkan peningkatan kinerja:

Perubahan penting lainnya:

Menambahkan beberapa peningkatan kinerja untuk perencanaan pemindaian dan kueri Spark.

Menambahkan klien katalog REST umum yang menggunakan komit berbasis perubahan untuk menyelesaikan konflik komit di sisi layanan.

AS OFsintaks untuk kueri perjalanan waktu SQL didukung.

Ditambahkan merge-on-read dukungan untuk MERGE dan UPDATE query.

Ditambahkan dukungan untuk menulis ulang partisi menggunakan Z-order.

Menambahkan spesifikasi dan implementasi untuk Puffin, format untuk statistik besar dan gumpalan indeks, seperti sketsa Theta atau filter mekar.

Menambahkan antarmuka baru untuk mengkonsumsi data secara bertahap (baik pemindaian append dan changelog).

Menambahkan dukungan untuk operasi massal dan pembacaan berkisar ke antarmuka FileIO.

Menambahkan lebih banyak tabel metadata untuk menampilkan file hapus di pohon metadata.

Perilaku drop table berubah. Di Iceberg 0.13.1, menjalankan DROP TABLE menghapus tabel dari katalog dan menghapus isi tabel juga. Di Iceberg 1.0.0, DROP TABLE hanya menghapus tabel dari katalog. Untuk menghapus isi tabel gunakanDROP TABLE PURGE.

Pembacaan vektor parket diaktifkan secara default di Iceberg 1.0.0. Jika Anda ingin menonaktifkan pembacaan vektor, setel ke. read.parquet.vectorization.enabled false