View a markdown version of this page

AWS Glue versi - AWS Lem
AWS Glue versi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS Glue versi

Anda dapat mengonfigurasi parameter AWS Glue versi saat menambahkan atau memperbarui pekerjaan. AWS Glue Versi menentukan versi Apache Spark dan Python yang AWS Glue mendukung. Versi Python menunjukkan versi yang didukung untuk pekerjaan tipe Spark. Tabel berikut mencantumkan versi AWS Glue yang tersedia, versi Spark dan Python yang sesuai, dan perubahan fungsi lainnya.

Anda dapat menggunakan peningkatan AI Generatif untuk Apache Spark untuk meningkatkan pekerjaan Glue ETL Anda dari versi Glue yang lebih lama (≥ 2.0) ke versi Glue terbaru.

AWS Glue versi

AWS Glue versi Versi lingkungan runtime yang didukung Versi Java yang didukung Perubahan fungsionalitas
AWS Glue 6.0

  • Percikan 4.1.1

  • Python 3.13

  • Skala 2.13.17

 Jawa 17

Selain peningkatan mesin Spark, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:

  • Open Table Formats (OTF) diperbarui ke Hudi 1.1.1, Iceberg 1.11.0, dan Delta Lake 4.2.0

  • Format gunung es versi 3 dengan tipe data VARIANT, vektor penghapusan, pelacakan garis keturunan baris, cap waktu nanodetik, dan tipe geografis

  • Spark Declarative Pipelines (SDP) untuk penulisan ETL deklaratif di SQL dan Python

  • Real-time mode untuk streaming stateless dengan latensi tingkat milidetik

  • Spark Connect untuk Sesi Interaktif

  • Arrow-native Python UDF dan UDTF

  • Customer-managed Lingkungan virtual Python (--python-virtual-env)

  • AWS SDK untuk Java v2 saja (v1 dihapus)

  • EMRFS dihapus; S3A adalah satu-satunya konektor S3
AWS Glue 5.1

  • Percikan 3.5.6

  • Python 3.11

  • Skala 2.12.18

 Jawa 17

AWS Glue 5.1 adalah versi default untuk pekerjaan yang dibuat tanpa menentukan AWS Glue versi.

Selain peningkatan mesin spark, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:

  • Open Table Formats (OTF) diperbarui ke Hudi 1.0.2, Iceberg 1.10.0, dan Delta Lake 3.3.2

  • Format gunung es versi 3.0

  • Hudi Full Table Access (FTA) dengan membaca dan menulis

  • Spark-native DDL/DML operasi kontrol akses berbutir halus (FGAC) pada tabel Hive, Iceberg, dan Danau Delta yang terdaftar di Formasi Danau

  • Konteks audit untuk panggilan API Glue dan Lake Formation di CloudTrail log

  • Dukungan Tampilan Terwujud Gunung Iceberg
AWS Glue 5.0

  • Percikan 3.5.4

  • Python 3.11

  • Skala 2.12.18

 Jawa 17

Selain pembaruan kerangka kerja, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:

  • Dukungan Amazon SageMaker Unified Studio

  • Dukungan Amazon SageMaker Lakehouse

  • Open Table Formats (OTF) diperbarui ke Hudi 0.15.0, Iceberg 1.7.1, dan Delta Lake 3.3.0

  • Spark-native kontrol akses berbutir halus menggunakan Formasi Danau.

  • Dukungan Hibah Akses Amazon S3

  • requirements.txtdukungan untuk menginstal pustaka Python tambahan

  • Dukungan garis keturunan data di Amazon DataZone

  • Dukungan Amazon S3 Table Bucket

  • AWS Glue Dukungan tampilan multi-dialek Katalog Data

Batasan

Berikut ini adalah batasan dengan AWS Glue 5.0:

  • Kontrol akses tingkat tabel GlueContext berbasis Glue Dynamic Frame/dengan AWS Lake Formation izin yang didukung di Glue 4.0 atau sebelumnya tidak didukung di Glue 5.0. Gunakan kontrol akses berbutir halus (FGAC) asli Spark baru di Glue 5.0.

Untuk informasi selengkapnya tentang migrasi ke AWS Glue versi 5.0, lihatMigrating AWS Glue untuk pekerjaan Spark untuk AWS Glue versi 5.0.
AWS Glue 4.0 Versi lingkungan Spark

  • Percikan 3.3.0

  • Python 3.10

 Java 8

AWS Glue 4.0 memiliki sejumlah pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:

  • Banyak peningkatan fungsionalitas Spark dari Spark 3.1 ke Spark 3.3:

    • Beberapa peningkatan fungsionalitas saat dipasangkan dengan Panda. Untuk informasi selengkapnya, lihat Apa yang Baru di Spark 3.3.

    • Optimasi tambahan dikembangkan di Amazon EMR.

    • Tingkatkan ke Sistem File EMR (EMRFS) 2.53.

  • Migrasi Log4j 2 dari Log4j 1.x

  • Beberapa pembaruan modul Python dari AWS Glue 3.0, seperti versi upgrade dari Boto.

  • Upgrade beberapa konektor, termasuk konektor Amazon Redshift default. Lihat Lampiran C: Peningkatan konektor.

  • Upgrade beberapa driver JDBC. Lihat Lampiran B: Peningkatan driver JDBC.

  • Diperbarui dengan konektor Amazon Redshift baru dan driver JDBC.

  • Dukungan asli untuk kerangka kerja danau data terbuka dengan Apache Hudi, Delta Lake, dan Apache Iceberg.

  • Dukungan asli untuk Plugin Penyimpanan Amazon S3-based Cloud Shuffle (plugin Apache Spark) untuk menggunakan Amazon S3 untuk pengocokan dan kapasitas penyimpanan elastis.

Batasan

Berikut ini adalah batasan dengan AWS Glue 4.0:

  • AWS Glue Pembelajaran mesin dan transformasi informasi identitas pribadi (PII) belum tersedia di AWS Glue 4.0.

Untuk informasi selengkapnya tentang migrasi ke AWS Glue versi 4.0, lihatMigrasi AWS Glue untuk pekerjaan Spark ke versi 4.0 AWS Glue.
Versi lingkungan sinar

  • Sinar 2.4.0

    Python 3.9

 N/A

Membangun dan menjalankan aplikasi Python terdistribusi dengan AWS Glue untuk Ray.

  • Men Ray-2.4.0 dukung distribusi data (ray[data]) dengan Python 3.9. Untuk informasi lebih lanjut tentang rilis Ray ini, lihat Ray-2.4.0 di GitHub repositori Ray.

  • Mendukung pemasangan pustaka Python tambahan ke lingkungan Ray2.4 runtime. Untuk informasi selengkapnya, lihat Modul Python tambahan untuk pekerjaan Ray.

  • Mengintegrasikan log dan metrik dari pekerjaan Ray dengan Amazon CloudWatch. Untuk informasi selengkapnya, lihat Pemecahan masalah AWS Glue untuk kesalahan Ray dari log dan Memantau pekerjaan Ray dengan metrik.

  • Menggabungkan dan memvisualisasikan metrik untuk pekerjaan Ray di AWS Glue Studio, pada setiap halaman menjalankan pekerjaan.

  • Mendukung distribusi file ke setiap direktori kerja di seluruh cluster Anda, menumpahkan objek dari penyimpanan objek Ray ke Amazon S3, dan mengontrol jumlah minimum node pekerja yang dialokasikan untuk pekerjaan Ray Anda. Untuk informasi selengkapnya, lihat Menggunakan parameter pekerjaan di pekerjaan Ray.

Batasan pada pekerjaan Ray di AWS Glue 4.0

  • AWS Glue sesi interaktif untuk Ray tetap dalam pratinjau untuk rilis ini.

  • AWS Glue untuk integrasi Ray dengan Amazon VPC saat ini tidak tersedia. Sumber daya dalam VPC di tidak AWS akan dapat diakses tanpa rute publik. Untuk informasi selengkapnya tentang penggunaan AWS Glue dengan Amazon VPC, lihatMengkonfigurasi titik akhir VPC antarmuka (AWS PrivateLink) untuk AWS Glue (AWS PrivateLink).

  • AWS Glue untuk Ray tersedia di AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Tokyo), dan Eropa (Irlandia).
AWS Glue 3.0

  • Spark 3.1.1

  • Python 3.7

 Java 8

Selain peningkatan mesin Spark ke 3.0, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:

  • Membangun Per AWS Glue pustakaan ETL terhadap Spark 3.0, yang merupakan rilis utama untuk Spark.

  • Pekerjaan streaming didukung di AWS Glue 3.0.

  • Termasuk pengoptimalan runtime AWS Glue Spark baru untuk kinerja dan keandalan:

    • Pemrosesan kolom dalam memori yang lebih cepat berdasarkan Apache Arrow untuk membaca data CSV.

    • SIMD-based eksekusi untuk pembacaan vektor dengan data CSV.

    • Upgrade Spark juga mencakup pengoptimalan tambahan yang dikembangkan di Amazon EMR.

    • EMRFS yang ditingkatkan dari 2,38 menjadi 2,46 memungkinkan fitur baru dan perbaikan bug untuk akses Amazon S3.

  • Meningkatkan beberapa dependensi yang diperlukan untuk versi Spark baru.

  • Driver JDBC yang ditingkatkan untuk sumber data kami yang didukung secara asli.

Batasan

Berikut ini adalah batasan dengan AWS Glue 3.0:

  • AWS Glue Transformasi pembelajaran mesin belum tersedia di AWS Glue 3.0.

  • Beberapa konektor Spark khusus tidak berfungsi dengan AWS Glue 3.0 jika mereka bergantung pada Spark 2.4 dan tidak memiliki kompatibilitas dengan Spark 3.1.
AWS Glue 2.0 (akhir kehidupan pada 1 April 2026)

  • Spark versi 2.4.3

  • Python 3.7

 N/A

Selain fitur yang disediakan dalam AWS Glue versi 1.0, AWS Glue versi 2.0 juga menyediakan:

  • Infrastruktur yang ditingkatkan untuk menjalankan pekerjaan Apache Spark ETL AWS Glue dengan waktu startup yang berkurang.

  • Pencatatan default sekarang real time, dengan aliran terpisah untuk driver dan pelaksana, serta output dan kesalahan.

  • Support untuk menentukan modul Python tambahan atau versi yang berbeda pada tingkat tugas.

catatan

AWS Glue versi 2.0 berbeda dari AWS Glue versi 1.0 untuk beberapa dependensi dan versi karena perubahan arsitektur yang mendasarinya. Validasi AWS Glue pekerjaan Anda sebelum bermigrasi di seluruh rilis AWS Glue versi utama.
AWS Glue 1.0 (akhir kehidupan pada 1 April 2026)

  • Spark versi 2.4.3

  • Python 2.7

  • Python 3.6

 N/A

Anda dapat menyimpan bookmark tugas untuk format Parket dan ORC di tugas ETL AWS Glue (menggunakan AWS Glue versi 1.0). Sebelumnya, Anda hanya dapat menandai format sumber Amazon S3 umum seperti JSON, CSV, Apache Avro, dan XML dalam pekerjaan AWS Glue ETL.

Saat mengatur opsi format untuk input dan output ETL, Anda dapat menentukan untuk menggunakan reader/writer format Apache Avro 1.8 untuk mendukung pembacaan dan penulisan tipe logis Avro (menggunakan AWS Glue versi 1.0). Sebelumnya, hanya reader/writer format Avro versi 1.7 yang didukung.

Jenis koneksi DynamoDB mendukung opsi penulis (menggunakan AWS Glue versi 1.0).

Batasan

Berikut ini adalah batasan dengan AWS Glue 1.0:

  • AWS Glue versi 0.9 dan 1.0 tidak tersedia di Asia Pasifik (Jakarta) (ap-southeast-3), Timur Tengah (UEA) (me-central-1), atau Wilayah baru lainnya di masa mendatang.
AWS Glue 0,9 (akhir hidup pada 1 April 2026)

  • Spark versi 2.2.1

  • Python 2.7

 N/A
Batasan

Berikut ini adalah batasan dengan AWS Glue 0,9:

  • AWS Glue versi 0.9 dan 1.0 tidak tersedia di Asia Pasifik (Jakarta) (ap-southeast-3), Timur Tengah (UEA) (me-central-1), atau Wilayah baru lainnya di masa mendatang.
catatan

Versi Glue berikut mendukung versi ini PythonShell:

  • PythonShell v3.6 didukung di Glue versi 1.0.

  • PythonShell v3.9 didukung di Glue versi 3.0.

Selain itu, titik akhir dev hanya didukung di Glue versi 1.0, dan 0.9.