Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
| Perubahan | Deskripsi | Tanggal |
|---|---|---|
Support untuk 14 konektor asli SaaS baru lainnya untuk AWS Glue | Empat belas konektor asli SaaS ditambahkan ke. AWS Glue Untuk informasi selengkapnya, lihat Menambahkan AWS Glue sambungan. | Januari 30, 2025 |
Support untuk 16 konektor asli SaaS baru untuk AWS Glue | Enam belas konektor asli SaaS ditambahkan ke. AWS Glue Untuk informasi selengkapnya, lihat Menambahkan AWS Glue sambungan. | Desember 17, 2024 |
Pembuatan statistik kolom otomatis | AWS Glue Kualitas Data sekarang mendukung Amazon SageMaker AI LakeHouse tabel dan tabel Iceberg, Delta, dan HUDI yang AWS Lake Formation dikelola di Katalog Data dan ETL. Untuk informasi selengkapnya, lihat Kualitas AWS Glue Data. | Desember 6, 2024 |
Support untuk integrasi nol-ETL | Zero-ETL adalah seperangkat integrasi yang dikelola sepenuhnya dengan AWS meminimalkan kebutuhan untuk membangun jaringan data ETL. Untuk informasi selengkapnya, lihat Integrasi nol-ETL. | Desember 3, 2024 |
Support untuk koneksi yang dapat digunakan kembali | Skema AWS Glue koneksi baru menyediakan cara terpadu untuk mengelola koneksi data di seluruh AWS layanan dan aplikasi, seperti Amazon Athena AWS Glue, dan Amazon SageMaker Unified Studio. Untuk informasi selengkapnya, lihat Menyambung ke data. | Desember 3, 2024 |
Support untuk AWS Glue versi 5.0. | Menambahkan informasi tentang dukungan untuk AWS Glue versi 5.0. Fitur termasuk pembaruan Apache Spark ke 3.52, pembaruan Java ke 17, pembaruan format tabel terbuka, kontrol akses halus asli Spark, Sagemaker Lakehouse dan integrasi abstraksi gudang data, dukungan di Sagemaker Unified Studio, dan banyak lagi. Untuk informasi selengkapnya, lihat Catatan AWS Glue Rilis dan Memigrasi AWS Glue pekerjaan ke AWS Glue versi 5.0. | Desember 3, 2024 |
Menghubungkan ke AWS Glue Data Catalog menggunakan titik akhir AWS Glue Iceberg REST | AWS Glue Endpoint Iceberg REST mendukung operasi API yang ditentukan dalam spesifikasi Apache Iceberg REST. Dengan menggunakan klien Iceberg REST, Anda dapat menghubungkan aplikasi yang berjalan di mesin analitik ke katalog REST yang dihosting di Katalog Data. Untuk informasi selengkapnya, lihat Mengakses Katalog Data. | Desember 3, 2024 |
Pembuatan statistik kolom otomatis | Secara otomatis menghasilkan statistik kolom untuk tabel baru di AWS Glue Data Catalog. Untuk informasi selengkapnya, lihat Pembuatan statistik kolom otomatis. | Desember 3, 2024 |
Support untuk peningkatan AI Generatif untuk Apache Spark di AWS Glue | Peningkatan Spark AWS Glue memungkinkan insinyur dan pengembang data untuk meningkatkan dan memigrasikan peningkatan dan memigrasikan pekerjaan Spark mereka yang ada ke AWS Glue rilis Spark terbaru menggunakan AI generatif. Untuk informasi selengkapnya, lihat Meningkatkan analisis dengan AI. | November 22, 2024 |
Support untuk pemecahan masalah AI Generatif untuk Apache Spark di AWS Glue | Pemecahan Masalah AI Generatif untuk pekerjaan Apache Spark AWS Glue membantu insinyur data dan ilmuwan mendiagnosis dan memperbaiki masalah dalam aplikasi Spark mereka dengan mudah. Untuk informasi selengkapnya, lihat Memecahkan Masalah pekerjaan Spark dengan AI. | November 22, 2024 |
Support untuk pengoptimal Iceberg untuk mengakses bucket Amazon S3 di VPC | AWS Glue Data Catalog mendukung pengoptimal tabel Iceberg untuk mengakses bucket Amazon S3 dari Virtual Private Cloud (VPC) tertentu menggunakan koneksi jaringan. AWS Glue Untuk informasi selengkapnya, lihat Mengoptimalkan tabel Gunung Es. | November 20, 2024 |
Support untuk sembilan konektor asli SaaS baru untuk AWS Glue | Sembilan konektor asli SaaS ditambahkan ke. AWS Glue Untuk informasi selengkapnya, lihat Menambahkan AWS Glue sambungan. | November 19, 2024 |
Support untuk sepuluh konektor asli SaaS baru untuk AWS Glue | Sepuluh konektor asli SaaS ditambahkan ke. AWS Glue Untuk informasi selengkapnya, lihat Menambahkan AWS Glue sambungan. | November 15, 2024 |
Support for job run antrian untuk AWS Glue pekerjaan ETL | Anda dapat mengaktifkan antrian job run untuk menjalankan pekerjaan nanti, ketika mereka tidak dapat langsung berjalan karena kuota layanan. Untuk informasi selengkapnya, lihat Mengonfigurasi properti pekerjaan untuk pekerjaan Spark di. AWS Glue | September 3, 2024 |
Perubahan kebijakan yang diperbarui | Perubahan terdokumentasi pada AwsGlueSessionUserRestrictedNotebookPolicydan AwsGlueSessionUserRestrictedNotebookServiceRolekebijakan, diperlukan untuk mendukung sesi dengan kunci tag pemilik. tag-on-create Untuk informasi selengkapnya, lihat AWS Glue pembaruan kebijakan AWS terkelola. | Agustus 30, 2024 |
Deteksi Anomali dan Aturan Dinamis sekarang tersedia secara umum | AWS Glue Kualitas Data menggunakan algoritma pembelajaran mesin untuk belajar dari tren masa lalu dan kemudian memprediksi nilai masa depan untuk mendeteksi anomali. Aturan Dinamis memungkinkan Anda untuk memberikan ambang dinamis. Untuk informasi selengkapnya, lihat Mengoptimalkan performa kueri untuk tabel Iceberg. | Agustus 7, 2024 |
Perubahan kebijakan yang diperbarui | Perubahan terdokumentasi pada AwsGlueSessionUserRestrictedPolicydan AwsGlueSessionUserRestrictedServiceRolekebijakan, diperlukan untuk mendukung sesi dengan kunci tag pemilik. tag-on-create Untuk informasi selengkapnya, lihat AWS Glue pembaruan kebijakan AWS terkelola. | Agustus 5, 2024 |
Menghasilkan statistik kolom untuk tabel Gunung Es sekarang tersedia secara umum | AWS Glue mendukung penghitungan dan pembaruan jumlah nilai yang berbeda (NDVs) untuk setiap kolom dalam tabel Iceberg. Untuk informasi selengkapnya, lihat Deteksi anomali dalam Kualitas AWS Glue Data dan aturan Dinamis. | 9 Juli 2024 |
Support untuk profil AWS Glue penggunaan | Admin dapat membuat profil AWS Glue penggunaan untuk berbagai kelas pengguna dalam akun, seperti pengembang, penguji, dan tim produk. Fleksibilitas ini memungkinkan administrator untuk menerapkan penggunaan dan kontrol biaya yang berbeda untuk setiap kelas pengguna. Untuk informasi selengkapnya, lihat Menyiapkan profil AWS Glue penggunaan. | Juni 18, 2024 |
Support untuk konektor Salesforce untuk AWS Glue Spark | Menambahkan informasi tentang AWS Glue konektor baru untuk Salesforce. Fitur ini memungkinkan Anda menggunakan Spark AWS Glue untuk membaca dan menulis ke Salesforce di AWS Glue versi 4.0 dan yang lebih baru. Untuk informasi selengkapnya, lihat Menghubungkan ke Salesforce. | 22 Mei 2024 |
Integrasi data Amazon Q di AWS Glue (GA) | Integrasi data Amazon Q AWS Glue adalah kemampuan AI generatif baru AWS Glue yang memungkinkan insinyur data dan pengembang ETL untuk membangun pekerjaan integrasi data menggunakan bahasa alami. Insinyur dan pengembang dapat meminta Q ke pekerjaan penulis, memecahkan masalah dan menjawab pertanyaan tentang AWS Glue dan integrasi data. Untuk informasi selengkapnya, lihat Integrasi data Amazon Q di AWS Glue. Fitur ini mencakup pembaruan ke | April 30, 2024 |
Integrasi data Amazon Q di AWS Glue (pratinjau) | Integrasi data Amazon Q AWS Glue adalah kemampuan AI generatif baru AWS Glue yang memungkinkan insinyur data dan pengembang ETL untuk membangun pekerjaan integrasi data menggunakan bahasa alami. Insinyur dan pengembang dapat meminta Q ke pekerjaan penulis, memecahkan masalah dan menjawab pertanyaan tentang AWS Glue dan integrasi data. Untuk informasi selengkapnya, lihat Integrasi data Amazon Q di AWS Glue. Fitur ini mencakup pembaruan pada kebijakan | Januari 30, 2024 |
Perbarui ke dokumentasi untuk AWS Glue Streaming | Menambahkan babak baru dengan konten baru dan direorganisasi untuk AWS Glue Streaming. Konten ini menjelaskan cara kerja streaming AWS Glue, karakteristik pemrosesan data waktu nyata, dan cara memantau pekerjaan streaming Anda. Untuk informasi selengkapnya, lihat AWS Glue Streaming. | 27 Desember 2023 |
Support untuk menggunakan deteksi data sensitif berbutir halus | Transformasi Detect Sensitive Data menyediakan kemampuan untuk mendeteksi, menutupi, atau menghapus entitas yang Anda tentukan, atau yang telah ditentukan sebelumnya oleh AWS Glue. Tindakan berbutir halus lebih lanjut memungkinkan Anda menerapkan tindakan spesifik per entitas. Untuk informasi selengkapnya, lihat Menggunakan deteksi data sensitif berbutir halus. | 26 November 2023 |
Support untuk memantau pekerjaan dengan metrik AWS Glue Observability | Gunakan metrik AWS Glue Observability untuk menghasilkan wawasan tentang apa yang terjadi di dalam pekerjaan Apache Spark Anda AWS Glue untuk meningkatkan triaging dan analisis masalah. Untuk informasi selengkapnya, lihat Metrik Monitoring with AWS Glue Observability. | 26 November 2023 |
Support untuk deteksi anomali dalam Kualitas Data AWS Glue | AWS Glue Deteksi anomali Kualitas Data menerapkan algoritma pembelajaran mesin (ML) pada statistik data dari waktu ke waktu untuk mendeteksi pola abnormal dan masalah kualitas data tersembunyi yang sulit dideteksi melalui aturan. Untuk informasi lebih lanjut, lihat Deteksi anomali dalam Kualitas AWS Glue Data. | 26 November 2023 |
Perbarui ke perilaku logging UI Spark default | Pekerjaan percikan yang menghasilkan log UI Spark sekarang akan menulis dengan pola nama file yang berbeda untuk mendukung Spark UI di konsol. AWS Glue Ini tidak mengubah perilaku CloudWatch log. Anda dapat kembali ke perilaku lama dengan memperbarui konfigurasi pekerjaan Anda. Untuk informasi selengkapnya, lihat Memantau pekerjaan menggunakan UI web Apache Spark. | 17 November 2023 |
Support untuk sumber data baru di AWS Glue untuk Spark | Koneksi ke Amazon OpenSearch Service, Azure SQL, Azure Cosmos untuk NoSQL, SAP HANA Teradata Vantage dan Vertica sekarang didukung secara native di dalamnya. AWS Glue Selain itu, koneksi ke sumber data ini, bersama dengan MongoDB, sekarang tersedia untuk digunakan di AWS Glue editor visual Studio. Untuk informasi selengkapnya, lihat Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark untuk informasi tentang AWS Glue dukungan Spark dan Menambahkan AWS Glue koneksi untuk informasi tentang penggunaan di editor visual AWS Glue Studio. | 17 November 2023 |
Support untuk menghasilkan statistik kolom | Anda dapat menghitung statistik tingkat kolom untuk AWS Glue Data Catalog tabel dalam format data seperti Parket, ORC, JSON, ION, CSV, dan XMLtanpa menyiapkan pipeline data tambahan. Untuk informasi selengkapnya, lihat Bekerja dengan statistik kolom. | 16 November 2023 |
Support untuk pemadatan data untuk tabel Iceberg | Untuk kinerja pembacaan yang lebih baik oleh layanan AWS analitik seperti Amazon Athena dan Amazon EMR, dan pekerjaan AWS Glue ETL, Katalog Data menyediakan pemadatan terkelola (proses yang memadatkan objek Amazon S3 kecil menjadi objek yang lebih besar) untuk tabel Iceberg di Katalog Data. Untuk informasi selengkapnya, lihat Mengoptimalkan tabel Gunung Es. | 13 November 2023 |
Perbarui ke perilaku tunggu jalankan pekerjaan | Pekerjaan shell Spark dan Python standar sekarang akan beralih | 8 November 2023 |
AWS Glue Studio panduan pengguna dikonsolidasikan ke dalam panduan AWS Glue pengembang | Panduan AWS Glue Studio pengguna telah dipindahkan ke panduan pengembang untuk membuat satu panduan pengguna terpadu untuk AWS Glue Studio, AWS Glue konsol, dan akses AWS Glue Studio terprogram. | 25 Oktober 2023 |
Memperbarui ke kebijakan AWSGlue ServiceNotebookRole AWS terkelola | Menambahkan informasi tentang pembaruan kecil pada kebijakan AWSGlue ServiceNotebookRole AWS terkelola. Untuk informasi selengkapnya, lihat AWS Glue Pembaruan Kebijakan AWS Terkelola. | 9 Oktober 2023 |
AWS Glue Studio mendukung lima transformasi bawaan baru | AWS Glue Studio mendukung lima transformasi bawaan baru berikut: Rekam pencocokan, Hapus baris nol, Parse kolom JSON, Ekstrak jalur JSON, dan ekstraktor Regex. Untuk informasi selengkapnya, lihat Mengedit node transformasi data AWS Glue terkelola. | 11 Agustus 2023 |
Memperbarui ke kebijakan AWSGlue ServiceRole AWS terkelola | Menambahkan informasi tentang pembaruan kecil pada kebijakan AWSGlue ServiceRole AWS terkelola. Untuk informasi selengkapnya, lihat AWS Glue Pembaruan Kebijakan AWS Terkelola. | 4 Agustus 2023 |
Support untuk merangkak tabel Apache Hudi | Menambahkan informasi tentang penggunaan AWS Glue untuk merayapi tabel Hudi di bucket Amazon S3 dan mendaftarkan tabel Hudi ke. AWS Glue Data Catalog Untuk informasi selengkapnya, lihat Penyimpanan data mana yang dapat saya jelajahi? , dan properti Crawler. | 21 Juli 2023 |
Memperbarui ke kebijakan AWSGlue ConsoleFullAccess AWS terkelola | Menambahkan informasi tentang pembaruan kecil pada kebijakan AWSGlue ConsoleFullAccess AWS terkelola. Untuk informasi selengkapnya, lihat AWS Glue Pembaruan Kebijakan AWS Terkelola. | 14 Juli 2023 |
Support untuk merangkak tabel Apache Iceberg | Menambahkan informasi tentang penggunaan AWS Glue untuk merayapi tabel Iceberg di bucket Amazon S3 dan mendaftarkan tabel Iceberg ke. AWS Glue Data Catalog Untuk informasi selengkapnya, lihat Penyimpanan data mana yang dapat saya jelajahi? , dan properti Crawler. | 7 Juli 2023 |
Support untuk AWS Glue dengan Ray | Menambahkan informasi tentang AWS Glue dengan Ray, mesin baru yang dapat mendukung AWS Glue pekerjaan. Reorganisasi yang ada AWS Glue dengan konten Spark untuk disambiguasi. | 30 Mei 2023 |
Support untuk Kualitas AWS Glue Data (GA) | AWS Glue Kualitas data sekarang tersedia secara umum. AWS Glue Kualitas Data membantu Anda mengevaluasi dan memantau kualitas data Anda. Untuk informasi tentang cara menggunakan Kualitas AWS Glue Data dengan Katalog Data, lihat Kualitas AWS Glue Data. Untuk mempelajari tentang Kualitas AWS Glue Data AWS Glue Studio, lihat Mengevaluasi kualitas data dengan AWS Glue Studio. | 24 Mei 2023 |
Support untuk tipe pekerja yang lebih besar untuk pekerjaan Apache Spark | Support sekarang tersedia untuk penggunaan tipe | 8 Mei 2023 |
Support untuk membuat indeks partisi saat merayapi tabel | Menambahkan informasi tentang bagaimana crawler mendukung pembuatan indeks partisi untuk tabel yang terdeteksi crawler. Untuk informasi selengkapnya, lihat Mengatur opsi konfigurasi crawler indeks partisi. | 24 April 2023 |
Support untuk metrik penggunaan sumber daya | Menambahkan informasi tentang melihat penggunaan sumber daya layanan dan mengonfigurasi alarm di Amazon. CloudWatch Untuk informasi selengkapnya, lihat pemantauan AWS Glue sumber daya. | April 7, 2023 |
Memperbarui ke kebijakan AWSGlue ConsoleFullAccess AWS terkelola | Menambahkan informasi tentang pembaruan kecil pada kebijakan AWSGlue ConsoleFullAccess AWS terkelola. Untuk informasi selengkapnya, lihat AWS Glue Pembaruan Kebijakan AWS Terkelola. | Maret 28, 2023 |
Menambahkan panduan untuk menggunakan AWS Glue dengan AWS SDK dengan contoh | Panduan AWS Glue Pengembang memiliki dua bagian baru yang menyediakan informasi untuk membantu Anda menggunakan AWS Glue AWS SDK. Untuk informasi selengkapnya, lihat Menggunakan AWS Glue dengan AWS SDK dan contoh Kode untuk AWS Glue digunakan AWS SDKs. | 23 Februari 2023 |
Perbarui ke dokumentasi untuk IAM dengan AWS Glue | Menata ulang dan menambahkan informasi tentang penggunaan IAM dengan. AWS Glue Untuk informasi selengkapnya, lihat Identitas dan manajemen akses untuk AWS Glue. | 15 Februari 2023 |
Support untuk menjalankan pekerjaan streaming ETL di AWS Glue versi 4.0 | Menambahkan informasi tentang dukungan untuk menjalankan pekerjaan ETL streaming di Glue versi 4.0, dan opsi baru untuk menghubungkan ke cluster Kafka atau cluster Amazon Managed Streaming for Apache Kafka, dan Amazon Kinesis Data Streams. Untuk informasi selengkapnya, lihat Menambahkan Pekerjaan ETL Streaming di AWS Glue dan Jenis dan opsi Koneksi untuk ETL di. AWS Glue | Februari 8, 2023 |
Support untuk merayapi sumber data MongoDB Atlas | Menambahkan informasi tentang penggunaan AWS Glue untuk merayapi sumber data MongoDB Atlas. Untuk informasi selengkapnya, lihat Penyimpanan data mana yang dapat saya jelajahi? , properti koneksi MongoDB dan MongoDB Atlas, dan Menggunakan koneksi MongoDB atau MongoDB Atlas. | 6 Februari 2023 |
Support untuk merayapi tabel Delta Lake menggunakan konektor Delta Lake asli | Menambahkan informasi tentang penggunaan AWS Glue untuk merayapi tabel Delta Lake menggunakan konektor Delta Lake asli. Fitur ini memungkinkan Anda untuk menggunakan mesin AWS kueri untuk menanyakan log transaksi Delta secara langsung dan menggunakan fitur seperti perjalanan waktu dan jaminan ACID, dan untuk menyinkronkan metadata Delta Lake Anda dari file transaksi Amazon S3 ke dalam Katalog Data untuk mengaktifkan izin kolom pada kueri Anda di Lake Formation. Untuk informasi selengkapnya, lihat Cara menentukan opsi konfigurasi untuk penyimpanan data Delta Lake, dan Menanyakan tabel Danau Delta. | 15 Desember 2022 |
Support untuk Kualitas AWS Glue Data (pratinjau) | Support sekarang tersedia untuk Kualitas AWS Glue Data (pratinjau). AWS Glue Kualitas Data membantu Anda mengevaluasi dan memantau kualitas data Anda saat menggunakan AWS Glue 3.0. Untuk informasi tentang cara menggunakan Kualitas AWS Glue Data dengan Katalog Data, lihat Kualitas AWS Glue Data (pratinjau). Untuk mempelajari tentang Kualitas AWS Glue Data AWS Glue Studio, lihat Mengevaluasi kualitas data dengan AWS Glue Studio. | 30 November 2022 |
Support untuk konektor Amazon Redshift Spark baru dengan fitur baru dan peningkatan kinerja | Support sekarang tersedia untuk konektor Amazon Redshift Spark baru dengan driver JDBC baru untuk digunakan dengan pekerjaan AWS Glue ETL untuk membangun aplikasi Apache Spark yang membaca dari dan menulis ke data di Amazon Redshift sebagai bagian dari pipa konsumsi dan transformasi data Anda. Untuk informasi selengkapnya, lihat Memindahkan data ke dan dari Amazon Redshift. | 29 November 2022 |
Support untuk AWS Glue versi 4.0. | Menambahkan informasi tentang dukungan untuk AWS Glue versi 4.0. Fitur termasuk dukungan asli untuk kerangka kerja danau data terbuka dengan Apache Hudi, Delta Lake, dan Apache Iceberg, dan dukungan asli untuk Plugin Penyimpanan Cloud Shuffle berbasis Amazon S3 (plugin Apache Spark) untuk menggunakan Amazon S3 untuk mengocokkan dan kapasitas penyimpanan elastis. Untuk informasi selengkapnya, lihat Catatan AWS Glue Rilis dan Memigrasi AWS Glue pekerjaan ke AWS Glue versi 4.0. | 28 November 2022 |
AWS Glue Studio sekarang menawarkan transformasi visual khusus | Transformasi visual khusus memungkinkan pelanggan mendefinisikan, menggunakan kembali, dan berbagi logika ETL khusus bisnis di antara tim mereka. Untuk informasi selengkapnya, lihat Transformasi visual khusus. | 28 November 2022 |
Support untuk menggunakan AWS Glue crawler untuk mempublikasikan metadata untuk penyimpanan data JDBC | Support sekarang tersedia untuk menggunakan AWS Glue crawler untuk mempublikasikan metadata seperti komentar dan rawtypes ke Katalog Data untuk penyimpanan data JDBC. Untuk informasi selengkapnya, lihat Parameter yang disetel pada tabel Katalog Data menurut crawler, properti Crawler, dan JdbcTarget struktur. | 18 November 2022 |
Support untuk merayapi penyimpanan data Snowflake | Support sekarang tersedia untuk digunakan AWS Glue untuk merayapi tabel dan tampilan Snowflake, dan untuk mempublikasikan metadata ke Katalog Data sebagai entri tabel. Untuk tabel eksternal Snowflake di Amazon S3, crawler juga merayapi lokasi Amazon S3 dan jenis format file tabel eksternal dan mengisi sebagai parameter Tabel. Untuk informasi selengkapnya, lihat Penyimpanan data mana yang dapat saya jelajahi? , properti AWS Glue koneksi, dan Parameter diatur pada tabel Katalog Data oleh crawler. | 18 November 2022 |
Support untuk manajemen shuffle yang lebih baik dari aplikasi Spark Anda | Support sekarang tersedia untuk Plugin Cloud Shuffle Storage baru untuk Apache Spark. Untuk informasi selengkapnya, lihat Plugin AWS Glue Spark shuffle dengan Amazon S3 dan Cloud Shuffle Storage Plugin untuk Apache Spark. | 15 November 2022 |
Menambahkan dukungan untuk target Katalog Data saat mempercepat crawl pemberitahuan peristiwa Amazon S3 | Selain dukungan yang ada untuk target Amazon S3, dukungan sekarang tersedia untuk mempercepat crawl untuk target Katalog Data menggunakan pemberitahuan peristiwa Amazon S3. Untuk informasi selengkapnya, lihat Mempercepat Crawl Menggunakan Pemberitahuan Acara Amazon S3. | 13 Oktober 2022 |
Support untuk menentukan jumlah maksimum tabel yang dapat dibuat oleh crawler | Support sekarang tersedia untuk menentukan jumlah maksimum tabel yang diizinkan untuk dibuat oleh crawler. Untuk informasi selengkapnya, lihat Cara menentukan jumlah maksimum tabel yang diizinkan untuk dibuat oleh crawler. | September 6, 2022 |
Dukungan untuk Python 3.9 dalam pekerjaan shell Python di AWS Glue | Support sekarang tersedia untuk menjalankan skrip yang kompatibel dengan Python 3.9 dalam AWS Glue pekerjaan shell Python di, dan untuk memilih untuk menggunakan kumpulan pustaka pra-paket. Untuk informasi selengkapnya, lihat pekerjaan shell Python di. AWS Glue | Agustus 11, 2022 |
Support untuk menjalankan AWS Glue pekerjaan yang tidak mendesak atau tidak sensitif terhadap waktu dengan kapasitas cadangan | Support sekarang tersedia untuk konfigurasi pekerjaan fleksibel untuk pekerjaan yang tidak mendesak seperti pekerjaan pra-produksi, pengujian, dan pemuatan data satu kali. Untuk informasi selengkapnya, lihat Menambahkan lowongan di AWS Glue. | Agustus 9, 2022 |
Support untuk tipe pekerja baru untuk pekerjaan streaming | Support sekarang tersedia untuk penggunaan tipe | 14 Juli 2022 |
Support untuk penggunaan Kafka SASL dalam koneksi AWS Glue | Support sekarang tersedia untuk penggunaan Kafka SASL dalam AWS Glue koneksi. Untuk informasi selengkapnya, lihat Properti koneksi AWS Glue Kafka untuk otentikasi klien. | Juli 5, 2022 |
Support untuk konektor Apache kafka untuk skema protobuf | Support sekarang tersedia untuk Apache Kafka Connector untuk skema Protobuf. Untuk informasi selengkapnya, lihat Skema Registri AWS Glue. | 9 Juni 2022 |
Support untuk Auto Scaling untuk AWS Glue pekerjaan (GA) | Menambahkan informasi tentang penggunaan Auto Scaling untuk pekerjaan di AWS Glue versi 3.0 untuk menskalakan sumber daya komputasi secara dinamis. Untuk informasi selengkapnya, lihat Menggunakan Auto Scaling untuk. AWS Glue | April 14, 2022 |
Perbarui dokumentasi untuk AWS Glue mengembangkan dan menguji skrip AWS Glue pekerjaan | Menata ulang dan menambahkan informasi tentang metode pengembangan dan pengujian yang tersedia untuk AWS Glue, termasuk instruksi untuk mengembangkan dengan Docker. Untuk informasi selengkapnya, lihat Mengembangkan dan menguji skrip AWS Glue pekerjaan. | Maret 14, 2022 |
Penambahan buffer protokol (protobuf) sebagai format data yang didukung untuk registri skema AWS Glue | Menambahkan informasi tentang Protobuf sebagai format data yang didukung (selain AVRO dan JSON). Untuk informasi selengkapnya, lihat Skema Registri AWS Glue. | 25 Februari 2022 |
Support untuk merangkak tabel Delta Lake | Menambahkan informasi tentang penggunaan AWS Glue untuk merayapi tabel Delta Lake. Untuk informasi selengkapnya, lihat Cara menentukan opsi konfigurasi untuk penyimpanan data Delta Lake. | Februari 24, 2022 |
Support untuk wawasan AWS Glue pekerjaan | Menambahkan informasi tentang penggunaan wawasan AWS Glue pekerjaan untuk menyederhanakan debugging dan pengoptimalan pekerjaan untuk pekerjaan Anda. AWS Glue Untuk informasi selengkapnya, lihat Memantau dengan wawasan AWS Glue pekerjaan. | 8 Februari 2022 |
Support untuk merayapi tabel Katalog Data yang didukung Amazon S3 menggunakan titik akhir VPC | Selain penyimpanan data Amazon S3, Anda dapat mengonfigurasi tabel Katalog Data yang didukung Amazon S3 agar hanya diakses oleh lingkungan Amazon Virtual Private Cloud (Amazon VPC), untuk tujuan keamanan, audit, atau kontrol. Untuk informasi selengkapnya, lihat Merayapi tabel Katalog Data yang didukung Amazon S3 atau Amazon S3 menggunakan Titik Akhir VPC. | 3 Februari, 2022 |
Dukungan untuk tabel yang diatur Lake Formation | Menambahkan informasi tentang AWS Glue dukungan untuk tabel yang diatur Lake Formation, yang mendukung transaksi ACID, pemadatan data otomatis, dan kueri perjalanan waktu. Untuk informasi selengkapnya, lihat AWS Glue API dan panduan AWS Lake Formation pengembang. | 30 November 2021 |
Kebijakan AWS terkelola baru ditambahkan untuk sesi interaktif dan buku catatan | Kebijakan terkelola baru untuk IAM memberikan keamanan yang ditingkatkan untuk digunakan AWS Glue dengan sesi interaktif dan notebook. Untuk informasi selengkapnya, lihat Kebijakan AWS Terkelola untuk AWS Glue. | 30 November 2021 |
Registri skema Glue sekarang didukung dengan pekerjaan streaming | Anda dapat membuat pekerjaan streaming yang mengakses tabel yang merupakan bagian dari Glue Schema Registry. Untuk informasi lebih lanjut, lihat Registri AWS Glue Skema dan Menambahkan Pekerjaan ETL Streaming di. AWS Glue | 15 November 2021 |
Support untuk fitur machine learning baru | Menambahkan informasi tentang fitur baru untuk transformasi pembelajaran mesin Find match, termasuk pencocokan inkremental dan skor kecocokan. Untuk informasi selengkapnya, lihat Menemukan Kecocokan Tambahan dan Memperkirakan Kualitas Pertandingan menggunakan Skor Keyakinan Pertandingan. | Oktober 31, 2021 |
(Pratinjau pribadi) Dukungan untuk AWS Glue pekerjaan fleksibel | Menambahkan informasi tentang mengonfigurasi pekerjaan AWS Glue Spark dengan kelas eksekusi yang fleksibel, sesuai untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi. Untuk informasi selengkapnya, lihat Menambahkan Pekerjaan di AWS Glue. | 29 Oktober 2021 |
Support untuk mempercepat crawl menggunakan notifikasi acara Amazon S3 | Menambahkan informasi tentang mempercepat crawl menggunakan notifikasi peristiwa Amazon S3. Untuk informasi selengkapnya, lihat Mempercepat Crawl Menggunakan Pemberitahuan Acara Amazon S3. | Oktober 15, 2021 |
Opsi konfigurasi keamanan tambahan yang terkait dengan kontrol akses dan VPCs | Menambahkan informasi tentang bagaimana Anda dapat mengkonfigurasi izin kontrol akses baru pada AWS Glue dan konfigurasi. VPCs Untuk informasi selengkapnya, lihat AWS Tag di AWS Glue, Kebijakan Berbasis Identitas (Kebijakan IAM) yang Mengontrol Pengaturan Menggunakan Kunci Kondisi atau Kunci Konteks, dan Mengonfigurasi semua AWS panggilan untuk melalui VPC Anda. | 13 Oktober 2021 |
Dukungan untuk kebijakan titik akhir VPC | Menambahkan informasi tentang dukungan untuk kebijakan titik akhir Virtual Private Cloud (VPC) di. AWS Glue Untuk informasi selengkapnya, lihat AWS Glue dan antarmuka titik akhir VPC ().AWS PrivateLink | 11 Oktober 2021 |
Glue Studio sekarang tersedia di Tiongkok | AWS Glue Studio sekarang tersedia di wilayah China Beijing dan Ningxia. | 11 Oktober 2021 |
AWS Glue Studio menawarkan penulisan buku catatan, untuk pengeditan pekerjaan interaktif | Notebook membantu Anda menulis dan mengeksekusi kode, memvisualisasikan hasilnya, dan berbagi wawasan. Biasanya, ilmuwan data menggunakan notebook untuk eksperimen dan tugas eksplorasi data. Untuk informasi selengkapnya, lihat Menggunakan Notebook. | 1 Oktober 2021 |
Akses langsung ke sumber streaming sekarang tersedia | Saat menambahkan sumber data ke pekerjaan ETL Anda di editor visual, Anda dapat memberikan informasi untuk mengakses aliran data alih-alih harus menggunakan database dan tabel Katalog Data. | 30 September 2021 |
Mendokumentasikan kebijakan dukungan AWS Glue versi | Menambahkan informasi tentang kebijakan dukungan AWS Glue versi dan fase akhir masa pakai untuk AWS Glue versi tertentu. Untuk informasi selengkapnya, lihat kebijakan dukungan AWS Glue versi. | 24 September 2021 |
Konektor kustom sekarang dapat digunakan dengan pratinjau data | Saat mengedit simpul sumber data menggunakan konektor khusus, Anda dapat melihat pratinjau kumpulan data dengan memilih tab pratinjau Dat. Untuk informasi selengkapnya, lihat Konektor Kustom. | 24 September 2021 |
Support untuk sesi AWS Glue interaktif (pratinjau pribadi) | (Pratinjau pribadi) Menambahkan informasi tentang penggunaan sesi AWS Glue interaktif untuk menjalankan beban kerja Spark di cloud dari Notebook Jupyter apa pun. Sesi interaktif adalah metode yang disukai untuk mengembangkan kode AWS Glue ekstrak, transformasi, dan muat (ETL) Anda saat Anda menggunakan AWS Glue 2.0 atau yang lebih baru. Untuk informasi selengkapnya, lihat Menyiapkan dan Menjalankan sesi AWS Glue interaktif untuk Jupyter Notebook. | Agustus 24, 2021 |
Support untuk membuat alur kerja dari blueprints (GA) | Menambahkan informasi tentang pengkodean kasus penggunaan ekstrak, transformasi, dan beban (ETL) umum dalam cetak biru dan kemudian membuat alur kerja dari cetak biru. Memungkinkan analis data untuk dengan mudah membuat dan menjalankan proses-proses ETL yang kompleks. Untuk informasi selengkapnya, lihat Melakukan Aktivitas ETL Kompleks Menggunakan cetak biru dan Alur Kerja di. AWS Glue | 23 Agustus 2021 |
Support untuk AWS Glue versi 3.0. | Menambahkan informasi tentang dukungan untuk AWS Glue versi 3.0 yang mendukung peningkatan mesin Apache Spark 3.0 untuk menjalankan pekerjaan Apache Spark ETL, dan pengoptimalan dan peningkatan lainnya. Untuk informasi selengkapnya, lihat Catatan AWS Glue Rilis dan Memigrasi AWS Glue pekerjaan ke AWS Glue versi 3.0. Fitur lain dalam rilis ini termasuk manajer AWS Glue acak, pembaca CSV vektor SIMD, dan predikat partisi katalog. Untuk informasi selengkapnya, lihat AWS Glue Spark shuffle manager dengan Amazon S3, Opsi Format untuk Input dan Output ETL, dan Pemfilteran sisi server menggunakan predikat AWS Glue partisi katalog. | 18 Agustus 2021 |
AWS GovCloud (US) Region | AWS Glue Studio sekarang tersedia di AWS GovCloud (US) Region | 18 Agustus 2021 |
Penulisan shell Python tersedia di AWS Glue Studio | Saat membuat pekerjaan baru, Anda sekarang dapat memilih untuk membuat pekerjaan shell Python. Untuk informasi selengkapnya, lihat Memulai proses pembuatan pekerjaan dan Mengedit pekerjaan shell Python di. AWS Glue Studio | 13 Agustus 2021 |
Support untuk memulai alur kerja dengan acara Amazon EventBridge | Menambahkan informasi tentang bagaimana AWS Glue bisa menjadi konsumen acara dalam arsitektur berbasis peristiwa. Untuk informasi selengkapnya, lihat Memulai AWS Glue Alur Kerja dengan EventBridge Acara Amazon dan Melihat EventBridge Peristiwa yang Memulai Alur Kerja. | 14 Juli 2021 |
Penambahan JSON sebagai format data yang didukung untuk registri AWS Glue skema | Menambahkan informasi tentang JSON sebagai sebuah format data yang didukung (selain AVRO). Untuk informasi selengkapnya, lihat Skema Registri AWS Glue. | 30 Juni 2021 |
Buat pekerjaan AWS Glue streaming tanpa tabel Katalog Data | Fungsi Python | 15 Juni 2021 |
AWS Glue transformasi pembelajaran mesin sekarang mendukung kunci AWS Key Management Service | Anda dapat menentukan konfigurasi atau AWS KMS kunci keamanan saat mengonfigurasi transformasi AWS Glue Machine Learning dengan konsol, CLI, atau. AWS Glue APIs Untuk informasi selengkapnya, lihat Menggunakan Enkripsi Data dengan Transformasi Machine Learning dan API Machine Learning AWS Glue. | 15 Juni 2021 |
Memperbarui ke kebijakan AWSGlue ConsoleFullAccess AWS terkelola | Menambahkan informasi tentang pembaruan kecil pada kebijakan AWSGlue ConsoleFullAccess AWS terkelola. Untuk informasi selengkapnya, lihat AWS Glue Pembaruan Kebijakan AWS Terkelola. | 10 Juni 2021 |
Melihat kumpulan data pekerjaan Anda saat membuat dan mengedit pekerjaan | Anda dapat menggunakan tab Pratinjau data untuk simpul dalam diagram tugas Anda untuk melihat contoh data yang diproses oleh simpul tersebut. Untuk informasi selengkapnya, lihat Menggunakan pratinjau data dalam editor tugas visual. | 7 Juni 2021 |
Support untuk menentukan nilai yang menunjukkan lokasi tabel untuk output crawler. | Penambahan informasi tentang penentuan sebuah nilai yang menunjukkan lokasi tabel saat mengkonfigurasi output crawler. Untuk informasi selengkapnya, lihat Cara menentukan lokasi tabel. | 4 Juni 2021 |
Support untuk merayapi sampel file dalam kumpulan data saat merayapi penyimpanan data Amazon S3 | Menambahkan informasi tentang cara melakukan perayapan pada contoh file saat melakukan perayapan pada Amazon S3. Untuk informasi selengkapnya, lihat Properti Crawler. | 10 Mei 2021 |
Support untuk penulis parket yang AWS Glue dioptimalkan | Menambahkan informasi tentang menggunakan penulis parket yang AWS Glue dioptimalkan DynamicFrames untuk membuat atau memperbarui tabel dengan | 4 Mei 2021 |
Support untuk password otentikasi klien kafka | Menambahkan informasi tentang bagaimana streaming pekerjaan ETL dalam AWS Glue mendukung otentikasi sertifikat klien SSL dengan produsen aliran Apache Kafka. Anda sekarang dapat memberikan sertifikat khusus sambil mendefinisikan AWS Glue koneksi ke cluster Apache Kafka, yang AWS Glue akan digunakan saat mengautentikasi dengannya. Untuk informasi selengkapnya, lihat Properti Koneksi AWS Glue dan API Koneksi. | 28 April 2021 |
Support untuk mengkonsumsi data dari Amazon Kinesis Data Streams di akun lain dalam streaming pekerjaan ETL | Penambahan informasi tentang cara membuat tugas ETL streaming untuk mengkonsumsi data dari Amazon Kinesis Data Streams di akun lain. Untuk informasi selengkapnya, lihat Menambahkan Pekerjaan ETL Streaming di AWS Glue. | 30 Maret 2021 |
Transformasi SQL tersedia | Anda dapat menggunakan simpul transformasi SQL untuk menulis transformasi Anda sendiri dalam bentuk kueri SQL. Untuk informasi selengkapnya, lihat Menggunakan kueri SQL untuk men-transfromasi data. | 23 Maret 2021 |
Support untuk membuat alur kerja dari cetak biru (pratinjau publik) | (Pratinjau publik) Penambahan informasi tentang pengkodean umum kasus penggunaan extract, transform, and load (ETL) dalam cetak biru dan kemudian membuat alur kerja dari cetak biru. Memungkinkan analis data untuk dengan mudah membuat dan menjalankan proses-proses ETL yang kompleks. Untuk informasi selengkapnya, lihat Melakukan Aktivitas ETL Kompleks Menggunakan cetak biru dan Alur Kerja di. AWS Glue | 22 Maret 2021 |
Konektor dapat digunakan untuk target data | Menggunakan kustom atau AWS Marketplace konektor untuk target data Anda sekarang didukung. Untuk informasi selengkapnya, lihat Menulis tugas dengan konektor kustom. | 15 Maret 2021 |
Support untuk metrik kepentingan kolom untuk transformasi pembelajaran AWS Glue mesin | Menambahkan informasi tentang melihat metrik kepentingan kolom saat bekerja dengan transformasi pembelajaran AWS Glue mesin. Untuk informasi selengkapnya lihat Bekerja dengan Transformasi Machine Learning di Konsol AWS Glue | 5 Februari 2021 |
Penjadwalan Job sekarang tersedia di AWS Glue Studio | Anda dapat menentukan jadwal berbasis waktu untuk pekerjaan Anda berjalan. AWS Glue Studio Anda dapat menggunakan konsol tersebut untuk membuat jadwal dasar, atau menentukan jadwal yang lebih kompleks menggunakan sintaksis cron | 21 Desember 2020 |
AWS Glue Konektor Kustom dirilis | AWS Glue Konektor Kustom memungkinkan Anda menemukan dan berlangganan konektor di AWS Marketplace. Kami juga merilis antarmuka runtime AWS Glue Spark untuk menyambungkan konektor yang dibuat untuk Apache Spark Datasource, kueri federasi Athena, dan JDBC. APIs Untuk informasi selengkapnya, lihat Menggunakan Konektor dan koneksi dengan AWS Glue Studio. | 21 Desember 2020 |
Support untuk menjalankan pekerjaan streaming ETL di AWS Glue versi 2.0 | Penambahan informasi tentang support untuk menjalankan streaming tugas ETL di Glue versi 2.0. Untuk informasi selengkapnya, lihat Menambahkan Pekerjaan ETL Streaming di AWS Glue. | 18 Desember 2020 |
Support untuk partisi beban kerja dengan eksekusi terbatas | Penambahan informasi tentang memungkinkan beban kerja pemartisian untuk mengkonfigurasi batas atas pada ukuran set data, atau jumlah file yang diproses pada eksekusi tugas ETL. Untuk informasi selengkapnya, lihat Pemartisian Beban Kerja dengan Eksekusi Terbatas. | 23 November 2020 |
Support untuk manajemen partisi yang disempurnakan | Menambahkan informasi tentang cara menggunakan new APIs untuk menambah atau menghapus indeks partisi ke/dari tabel yang ada. Untuk informasi selengkapnya, lihat Bekerja dengan Indeks Partisi. | 23 November 2020 |
Support untuk registri AWS Glue skema | Menambahkan informasi tentang penggunaan Registri AWS Glue Skema untuk menemukan, mengontrol, dan mengembangkan skema secara terpusat. Untuk informasi selengkapnya, lihat Registri AWS Glue Skema. | 19 November 2020 |
Support untuk format input grok dalam streaming pekerjaan ETL | Penambahan informasi tentang menerapkan pola Grok ke sumber streaming seperti file berkas log. Untuk informasi selengkapnya, lihat Menerapkan Pola Grok untuk Sumber Streaming. | 17 November 2020 |
Support untuk menambahkan tag ke alur kerja di konsol AWS Glue | Penambahan informasi tentang cara menambahkan tag saat membuat sebuah alur kerja dengan menggunakan konsol AWS Glue . Untuk informasi selengkapnya, lihat Membuat dan Membuat Alur Kerja Menggunakan AWS Glue Konsol. | 27 Oktober 2020 |
Support untuk proses crawler inkremental | Penambahan informasi tentang support untuk eksekusi crawler tambahan, yang hanya melakukan perayapan pada folder Amazon S3 yang ditambahkan sejak eksekusi terakhir. Untuk informasi selengkapnya, lihat Perayapan Tambahan. | 21 Oktober 2020 |
Dukungan untuk deteksi skema untuk streaming sumber data ETL. dukungan untuk sumber data ETL streaming Avro dan kafka yang dikelola sendiri | Pekerjaan streaming extract, transform, and load (ETL) sekarang AWS Glue dapat secara otomatis mendeteksi skema catatan yang masuk dan menangani perubahan skema berdasarkan per-record. Sekarang mendukung sumber data Kafka dikelola sendiri. Tugas ETL streaming sekarang mendukung format Avro dalam sumber data. Untuk informasi selengkapnya, lihat Streaming ETL di AWS Glue, Mendefinisikan Properti Pekerjaan untuk Pekerjaan ETL Streaming, dan Catatan dan Pembatasan untuk Sumber Streaming Avro. | 7 Oktober 2020 |
Support untuk merayapi sumber data MongoDB dan DocumentDB | Penambahan informasi tentang support untuk melakukan perayapan pada sumber data MongoDB dan Amazon DocumentDB (dengan kompatibilitas MongoDB). Untuk informasi selengkapnya, lihat Mendefinisikan Crawler. | 5 Oktober 2020 |
Support untuk kepatuhan FIPS | Penambahan informasi tentang titik akhir FIPS bagi pelanggan yang memerlukan modul kriptografi yang divalidasi FIPS 140-2 ketika mengakses data menggunakan AWS Glue. Untuk informasi lebih lanjut, lihat Kepatuhan FIPS. | 23 September 2020 |
AWS Glue Studio menyediakan antarmuka visual yang mudah digunakan untuk membuat dan memantau pekerjaan | Anda sekarang dapat menggunakan antarmuka berbasis grafik sederhana untuk menyusun tugas yang memindahkan dan men-transformasi data dan menjalankannya di AWS Glue. Anda kemudian dapat menggunakan dasbor job run AWS Glue Studio untuk memantau eksekusi ETL dan memastikan bahwa pekerjaan Anda beroperasi sebagaimana dimaksud. Untuk informasi selengkapnya, silakan lihat AWS Glue Studio Panduan Pengguna. | 23 September 2020 |
Support untuk membuat indeks tabel untuk meningkatkan kinerja kueri | Penambahan informasi tentang membuat indeks tabel untuk memungkinkan Anda untuk mengambil subset dari partisi dari sebuah tabel. Untuk informasi selengkapnya, lihat Bekerja dengan Indeks Partisi. | 9 September 2020 |
Support untuk mengurangi waktu startup saat menjalankan pekerjaan Apache Spark ETL di AWS Glue versi 2.0. | Menambahkan informasi tentang dukungan untuk AWS Glue versi 2.0 yang menyediakan infrastruktur yang ditingkatkan untuk menjalankan pekerjaan Apache Spark ETL dengan waktu startup yang berkurang, perubahan dalam logging, dan dukungan untuk menentukan modul Python tambahan di tingkat pekerjaan. Untuk informasi selengkapnya, lihat Catatan Rilis AWS Glue dan Menjalankan Tugas ETL Spark dengan Waktu Pemulaian yang Dikurangi. | 10 Agustus 2020 |
Support untuk membatasi jumlah alur kerja yang berjalan bersamaan. | Penambahan informasi tentang cara membatasi jumlah eksekusi alur kerja bersamaan untuk alur kerja tertentu. Untuk informasi selengkapnya, lihat Membuat dan Membuat Alur Kerja Menggunakan AWS Glue Konsol. | 10 Agustus 2020 |
Support untuk merayapi penyimpanan data Amazon S3 menggunakan titik akhir VPC | Penambahan informasi tentang cara mengkonfigurasi penyimpanan data Amazon S3 Anda sehingga diakses hanya oleh lingkungan Amazon Virtual Private Cloud (Amazon VPC), untuk tujuan keamanan, audit, atau kontrol. Untuk informasi selengkapnya, lihat Melakukan Perayapan Penyimpanan Data Amazon S3 dengan Menggunakan VPC Endpoint. | 7 Agustus 2020 |
Support untuk melanjutkan alur kerja berjalan | Penambahan informasi tentang cara melanjutkan eksekusi alur kerja yang hanya sebagian selesai karena satu atau beberapa simpul (tugas atau crawler) tidak berhasil diselesaikan. Untuk informasi selengkapnya, lihat Memperbaiki dan Melanjutkan Eksekusi Alur Kerja. | 27 Juli 2020 |
Support untuk mengaktifkan sertifikat CA pribadi dalam koneksi kafka di. AWS Glue | Penambahan informasi tentang pilihan koneksi baru yang mendukung dimungkinkannya sertifikat CA privat untuk koneksi Kafka di AWS Glue. Untuk informasi selengkapnya, lihat Jenis dan Opsi Koneksi untuk ETL di AWS Glue dan Parameter Khusus yang Digunakan oleh AWS Glue. | 20 Juli 2020 |
Support untuk membaca data DynamoDB di akun lain | Menambahkan informasi tentang AWS Glue dukungan untuk membaca data dari tabel DynamoDB AWS akun lain Untuk informasi selengkapnya, lihat Membaca dari Data DynamoDB di Akun Lain. | 17 Juli 2020 |
Support untuk koneksi penulis DynamoDB AWS Glue di versi 1.0 atau yang lebih baru | Penambahan informasi tentang dukungan untuk penulis DynamoDB, dan opsi koneksi baru atau diperbarui untuk DynamoDB untuk baca atau tulis. Untuk informasi selengkapnya, lihat Jenis dan Pilihan Koneksi untuk ETL dalam AWS Glue. | 17 Juli 2020 |
Dukungan untuk tautan sumber daya dan untuk kontrol akses lintas akun menggunakan keduanya AWS Glue dan Lake Formation | Menambahkan konten tentang objek Katalog Data baru yang disebut tautan sumber daya, dan tentang cara mengelola berbagi sumber daya Katalog Data di seluruh akun dengan keduanya AWS Glue dan AWS Lake Formation. Untuk informasi selengkapnya, lihat Memberikan Akses Lintas Akun dan Tautan Sumber Daya Tabel. | 7 Juli 2020 |
Support untuk rekaman sampling saat merayapi penyimpanan data DynamoDB | Penambahan informasi tentang properti baru yang dapat Anda konfigurasikan saat melakukan perayapan pada sebuah penyimpanan data DynamoDB. Untuk informasi selengkapnya, lihat Properti Crawler. | 12 Juni 2020 |
Support untuk menghentikan proses alur kerja. | Penambahan informasi tentang cara menghentikan eksekusi alur kerja untuk alur kerja tertentu. Untuk informasi selengkapnya, lihat Menghentikan Eksekusi Alur Kerja. | 14 Mei 2020 |
Support untuk pekerjaan Spark streaming ETL | Penambahan informasi tentang membuat tugas extract, transform, and load (ETL) dengan sumber data streaming. Untuk informasi selengkapnya, lihat Menambahkan Tugas ETL Streaming di AWS Glue. | 27 April 2020 |
Support untuk membuat tabel, memperbarui skema, dan menambahkan partisi baru di Katalog Data setelah menjalankan pekerjaan ETL | Penambahan informasi tentang bagaimana Anda dapat mengaktifkan membuat tabel, memperbarui skema, dan menambahkan partisi baru untuk melihat hasil tugas ETL Anda dalam Katalog Data. Untuk informasi selengkapnya, lihat Membuat Tabel, Memperbarui Skema, dan Menambahkan Partisi Baru di Katalog Data dari Pekerjaan AWS Glue ETL. | 2 April 2020 |
Support untuk menentukan versi untuk format data Apache Avro sebagai input dan output ETL AWS Glue | Penambahan informasi tentang menentukan versi untuk format data Apache Avro sebagai input dan output ETL di AWS Glue. Versi default 1.7. Anda dapat menggunakan pilihan format | 31 Maret 2020 |
Support untuk committer EMRFS S3 yang dioptimalkan untuk menulis data Parket ke Amazon S3 | Penambahan informasi tentang cara mengatur bendera baru untuk mengaktifkan pelaksana dioptimalkan-S3 EMRFR untuk menulis data Parquet ke Amazon S3 saat membuat atau memperbarui tugas AWS Glue . Untuk informasi selengkapnya, lihat Parameter Khusus yang Digunakan oleh AWS Glue. | 30 Maret 2020 |
Support untuk pembelajaran mesin berubah sebagai sumber daya yang dikelola oleh tag AWS sumber daya | Menambahkan informasi tentang penggunaan tag AWS sumber daya untuk mengelola dan mengontrol akses ke pembelajaran mesin Anda berubah. AWS Glue Anda dapat menetapkan tag AWS sumber daya untuk pekerjaan, pemicu, titik akhir, crawler, dan transformasi pembelajaran mesin. AWS Glue Untuk informasi selengkapnya, lihat AWS Tag di AWS Glue. | 2 Maret 2020 |
Support untuk argumen pekerjaan yang tidak dapat di-overrideable | Penambahan informasi tentang dukungan untuk parameter tugas khusus yang tidak dapat diganti dalam pemicu atau ketika Anda menjalankan tugas. Untuk informasi selengkapnya, lihat Menambahkan Tugas di AWS Glue. | 12 Februari 2020 |
Support untuk transformasi baru untuk bekerja dengan dataset di Amazon S3 | Penambahan informasi tentang transformasi baru (Merge, Purge, dan Transition) dan pengecualian kelas penyimpanan Amazon S3 untuk aplikasi Apache Spark untuk bekerja dengan set data di Amazon S3. Untuk informasi selengkapnya tentang dukungan untuk transformasi ini untuk Python, mergeDynamicFramelihat dan Bekerja dengan Kumpulan Data di Amazon S3. Untuk Scala, lihat mergeDynamicFramesdan AWS Glue GlueContext APIsScala. | 16 Januari 2020 |
Support untuk memperbarui Katalog Data dengan informasi partisi baru dari pekerjaan ETL | Menambahkan informasi tentang cara mengkode skrip ekstrak, mengubah, dan memuat (ETL) untuk memperbarui AWS Glue Data Catalog dengan informasi partisi baru. Dengan kemampuan ini, Anda tidak lagi harus menjalankan ulang crawler setelah tugas selesai untuk melihat partisi baru. Untuk informasi selengkapnya, lihat Memperbarui Katalog Data dengan Partisi Baru. | 15 Januari 2020 |
Tutorial baru: Menggunakan notebook SageMaker AI | Menambahkan tutorial yang menunjukkan cara menggunakan SageMaker notebook Amazon untuk membantu mengembangkan skrip ETL dan machine learning Anda. Lihat Tutorial: Gunakan SageMaker Notebook Amazon dengan Titik Akhir Pengembangan Anda. | 3 Januari 2020 |
Dukungan untuk membaca dari MongoDB dan Amazon DocumentDB (dengan kompatibilitas MongoDB) | Penambahan informasi tentang jenis koneksi baru dan pilihan koneksi untuk membaca dari dan menulis ke MongoDB dan Amazon DocumentDB (dengan Kompatibilitas MongoDB). Untuk informasi selengkapnya, lihat Jenis dan Pilihan Koneksi untuk ETL dalam AWS Glue. | 17 Desember 2019 |
Berbagai koreksi dan klarifikasi | Penambahan koreksi dan klarifikasi secara keseluruhan. Penghapusan entri dari bab Masalah yang Dikenal. Menambahkan peringatan yang hanya AWS Glue mendukung kunci master pelanggan simetris (CMKs) saat menentukan pengaturan enkripsi Katalog Data dan membuat konfigurasi keamanan. Menambahkan catatan yang AWS Glue tidak mendukung penulisan ke Amazon DynamoDB. | 9 Desember 2019 |
Support untuk driver JDBC kustom | Menambahkan informasi tentang menghubungkan ke sumber data dan target dengan driver JDBC yang AWS Glue tidak mendukung secara native, seperti MySQL versi 8 dan Oracle Database versi 18. Untuk informasi selengkapnya, lihat Nilai connectionType JDBC. | 25 November 2019 |
Support untuk menghubungkan notebook SageMaker AI ke titik akhir pengembangan yang berbeda | Menambahkan informasi tentang bagaimana Anda dapat menghubungkan notebook SageMaker AI ke titik akhir pengembangan yang berbeda. Pembaruan untuk menjelaskan tindakan konsol baru untuk beralih ke titik akhir pengembangan baru, dan kebijakan SageMaker AI IAM yang baru. Untuk informasi selengkapnya, lihat Bekerja dengan Notebook di AWS Glue Konsol dan Membuat Kebijakan IAM untuk Notebook Amazon SageMaker AI. | 21 November 2019 |
Support untuk AWS Glue versi dalam transformasi pembelajaran mesin | Menambahkan informasi tentang mendefinisikan AWS Glue versi dalam transformasi pembelajaran mesin untuk menunjukkan versi transformasi pembelajaran mesin mana AWS Glue yang kompatibel. Untuk informasi selengkapnya, lihat Bekerja dengan Transformasi Machine Learning di AWS Glue Konsol. | 21 November 2019 |
Support untuk memundurkan bookmark pekerjaan Anda | Penambahan informasi tentang cara memutar kembali bookmark tugas Anda ke setiap tugas yang dijalankan sebelumnya, sehingga tugas berikutnya menjalankan pemrosesan ulang data hanya dari eksekusi tugas yang ditandai. Dijelaskan dua sub-pilihan baru untuk pilihan | 22 Oktober 2019 |
Support untuk sertifikat JDBC kustom untuk menghubungkan ke penyimpanan data | Menambahkan informasi tentang AWS Glue dukungan sertifikat JDBC khusus untuk koneksi SSL ke sumber AWS Glue data atau target. Untuk informasi selengkapnya, lihat Bekerja dengan Koneksi pada Konsol AWS Glue. | 10 Oktober 2019 |
Dukungan untuk roda Python | Menambahkan informasi tentang AWS Glue dukungan file roda (bersama dengan file telur) sebagai dependensi untuk pekerjaan shell Python. Untuk informasi selengkapnya, lihat Memberikan Perpustakaan Python Anda Sendiri. | 26 September 2019 |
Support untuk pembuatan versi titik akhir pengembangan di AWS Glue | Menambahkan informasi tentang mendefinisikan titik akhir | 19 September 2019 |
Support untuk monitoring AWS Glue menggunakan Spark UI | Menambahkan informasi tentang penggunaan Apache Spark UI untuk memantau dan men-debug pekerjaan AWS Glue ETL yang berjalan pada sistem AWS Glue pekerjaan, dan aplikasi Spark pada titik akhir pengembangan. AWS Glue Untuk informasi selengkapnya, lihat Memantau AWS Glue Menggunakan UI Spark. | 19 September 2019 |
Peningkatan dukungan untuk pengembangan skrip ETL lokal menggunakan pustaka ETL publik AWS Glue | Memperbarui konten pustaka AWS Glue ETL untuk mencerminkan bahwa AWS Glue versi 1.0 sekarang didukung. Untuk informasi selengkapnya, lihat Mengembangkan dan Menguji Skrip ETL Secara Lokal Menggunakan Perpustakaan ETL. AWS Glue | 18 September 2019 |
Support untuk mengecualikan kelas penyimpanan Amazon S3 saat menjalankan pekerjaan | Menambahkan informasi tentang mengecualikan kelas penyimpanan Amazon S3 saat AWS Glue menjalankan pekerjaan ETL yang membaca file atau partisi dari Amazon S3. Untuk informasi selengkapnya, lihat Mengecualikan Kelas Penyimpanan Amazon S3. | 29 Agustus 2019 |
Support untuk pengembangan skrip ETL lokal menggunakan pustaka AWS Glue ETL publik | Penambahan informasi tentang bagaimana mengembangkan dan menguji skrip ETL Python dan Scala secara lokal tanpa perlu menggunakan koneksi jaringan. Untuk informasi selengkapnya, lihat Mengembangkan dan Menguji Skrip ETL Secara Lokal Menggunakan Perpustakaan ETL. AWS Glue | 28 Agustus 2019 |
Masalah yang diketahui | Penambahan informasi tentang masalah yang diketahui di AWS Glue. Untuk informasi selengkapnya, lihat Masalah yang Diketahui untuk AWS Glue. | 28 Agustus 2019 |
Support untuk transformasi pembelajaran mesin di AWS Glue | Menambahkan informasi tentang kemampuan pembelajaran mesin yang disediakan oleh AWS Glue untuk membuat transformasi khusus. Anda dapat membuat transformasi ini saat membuat sebuah tugas. Untuk informasi selengkapnya, lihat Transformasi Machine Learning di AWS Glue. | 8 Agustus 2019 |
Dukungan untuk Amazon Virtual Private Cloud bersama | Menambahkan informasi tentang AWS Glue dukungan untuk Amazon Virtual Private Cloud bersama. Untuk informasi selengkapnya, lihat Amazon Bersama VPCs. | 6 Agustus 2019 |
Support untuk pembuatan versi di AWS Glue | Menambahkan informasi tentang mendefinisikan | 24 Juli 2019 |
Support untuk opsi konfigurasi tambahan untuk titik akhir pengembangan | Penambahan informasi tentang opsi konfigurasi untuk titik akhir pengembangan yang memiliki beban kerja memori-intensif. Anda dapat memilih dari dua konfigurasi baru yang memberikan lebih banyak memori untuk setiap pelaksana. Untuk informasi selengkapnya, lihat Bekerja dengan Titik Akhir Pengembangan di AWS Glue Konsol. | 24 Juli 2019 |
Support untuk melakukan aktivitas ekstrak, transfer, dan beban (ETL) menggunakan alur kerja | Menambahkan informasi tentang penggunaan konstruksi baru yang disebut alur kerja untuk merancang aktivitas ekstrak, transformasi, dan beban (ETL) multi-pekerjaan yang kompleks yang AWS Glue dapat dijalankan dan dilacak sebagai satu entitas. Untuk informasi selengkapnya, lihat Melakukan Aktivitas ETL Kompleks Menggunakan Alur Kerja di. AWS Glue | 20 Juni 2019 |
Dukungan untuk Python 3.6 dalam pekerjaan shell Python | Penambahan informasi tentang dukungan untuk Python 3.6 di tugas shell Python. Anda dapat menentukan baik Python 2.7 atau Python 3.6 sebagai properti tugas. Untuk informasi selengkapnya, lihat Menambahkan Tugas Shell Python di AWS Glue. | 5 Juni 2019 |
Dukungan untuk titik akhir virtual private cloud (VPC) | Menambahkan informasi tentang menghubungkan langsung ke AWS Glue melalui titik akhir antarmuka di VPC Anda. Saat Anda menggunakan titik akhir antarmuka VPC, komunikasi antara VPC Anda dan dilakukan sepenuhnya dan AWS Glue aman di dalam jaringan. AWS Untuk informasi selengkapnya, lihat Menggunakan AWS Glue dengan Titik Akhir VPC. | 4 Juni 2019 |
Support untuk real-time, logging berkelanjutan untuk AWS Glue pekerjaan. | Menambahkan informasi tentang mengaktifkan dan melihat log pekerjaan Apache Spark real-time CloudWatch termasuk log driver, masing-masing log pelaksana, dan bilah kemajuan pekerjaan Spark. Untuk informasi selengkapnya, lihat Pencatatan Log Berkelanjutan untuk Tugas AWS Glue. | 28 Mei 2019 |
Support untuk tabel Data Catalog yang ada sebagai sumber crawler | Penambahan informasi tentang menentukan daftar tabel Katalog Data yang ada sebagai sumber crawler. Crawler kemudian dapat mendeteksi perubahan pada skema tabel, memperbarui definisi tabel, dan mendaftarkan partisi baru saat data baru menjadi tersedia. Untuk informasi selengkapnya, lihat Properti Crawler. | 10 Mei 2019 |
Support untuk opsi konfigurasi tambahan untuk pekerjaan intensif memori | Penambahan informasi tentang pilihan konfigurasi untuk tugas Apache Spark dengan beban kerja intensif-memori. Anda dapat memilih dari dua konfigurasi baru yang memberikan lebih banyak memori untuk setiap pelaksana. Untuk informasi selengkapnya, lihat Menambahkan Pekerjaan di AWS Glue. | 5 April 2019 |
Support untuk pengklasifikasi kustom CSV | Penambahan informasi tentang penggunaan pengklasifikasi CSV kustom untuk menyimpulkan skema berbagai jenis data CSV. Untuk informasi selengkapnya, lihat Menulis Pengklasifikasi Kustom. | 26 Maret 2019 |
Support untuk tag AWS sumber daya | Menambahkan informasi tentang penggunaan tag AWS sumber daya untuk membantu Anda mengelola dan mengontrol akses ke AWS Glue sumber daya Anda. Anda dapat menetapkan tag AWS sumber daya untuk pekerjaan, pemicu, titik akhir, dan crawler di. AWS Glue Untuk informasi selengkapnya, lihat AWS Tag di AWS Glue. | 20 Maret 2019 |
Support of Data Catalog untuk pekerjaan Spark SQL | Menambahkan informasi tentang mengonfigurasi AWS Glue pekerjaan dan titik akhir pengembangan Anda untuk menggunakan Metastore Apache Hive AWS Glue Data Catalog sebagai eksternal. Hal ini memungkinkan tugas dan titik akhir pengembangan untuk secara langsung menjalankan kueri Apache Spark SQL terhadap tabel yang disimpan dalam AWS Glue Data Catalog. Untuk informasi selengkapnya, lihat Support AWS Glue Data Catalog untuk Tugas Spark SQL. | 14 Maret 2019 |
Support untuk pekerjaan Python shell | Penambahan informasi tentang tugas shell Python dan bidang baru Kapasitas maksimal. Untuk informasi selengkapnya, lihat Menambahkan Tugas Shell Python di AWS Glue. | 18 Januari 2019 |
Support untuk notifikasi ketika ada perubahan pada database dan tabel | Penambahan informasi tentang peristiwa yang dihasilkan untuk perubahan basis data, tabel, dan panggilan API partisi. Anda dapat mengonfigurasi tindakan di CloudWatch Acara untuk menanggapi peristiwa ini. Untuk informasi selengkapnya, lihat Mengotomatisasi AWS Glue dengan CloudWatch Acara. | 16 Januari 2019 |
Support untuk mengenkripsi kata sandi koneksi | Penambahan informasi tentang mengenkripsi kata sandi yang digunakan dalam objek koneksi. Untuk informasi selengkapnya, lihat Mengenkripsi Kata sandi Koneksi. | 11 Desember 2018 |
Dukungan untuk izin tingkat sumber daya dan kebijakan berbasis sumber daya | Menambahkan informasi tentang penggunaan izin tingkat sumber daya dan kebijakan berbasis sumber daya dengan. AWS Glue Untuk informasi selengkapnya, lihat topik di Keamanan di AWS Glue. | 15 Oktober 2018 |
Support untuk notebook SageMaker AI | Menambahkan informasi tentang penggunaan notebook SageMaker AI dengan titik akhir AWS Glue pengembangan. Untuk informasi selengkapnya, lihat Mengelola Notebook. | 5 Oktober 2018 |
Support untuk enkripsi | Menambahkan informasi tentang menggunakan enkripsi dengan AWS Glue. Untuk informasi selengkapnya, lihat Enkripsi Saat Data Tidak Berpindah, Enkripsi in Transit, dan Menyiapkan Enkripsi di AWS Glue. | 24 Agustus 2018 |
Support untuk metrik pekerjaan Apache Spark | Penambahan informasi tentang penggunaan metrik Apache Spark untuk melakukan debugging dan pemrofilan tugas ETL yang lebih baik. Anda dapat dengan mudah melacak metrik runtime seperti byte baca dan tulis, penggunaan memori dan beban CPU driver dan pelaksana, dan pengocokan data di antara pelaksana dari konsol. AWS Glue Untuk informasi selengkapnya, lihat Memantau AWS Glue Menggunakan CloudWatch Metrik, Pemantauan Pekerjaan, dan Debugging, dan Bekerja dengan Pekerjaan di AWS Glue Konsol. | 13 Juli 2018 |
Support DynamoDB sebagai sumber data | Penambahan informasi tentang cara melakukan perayapan DynamoDB dan menggunakannya sebagai sumber data tugas ETL. Untuk informasi selengkapnya, lihat Katalogisasi Tabel dengan Crawler dan Parameter Koneksi. | 10 Juli 2018 |
Pembaruan untuk membuat prosedur server notebook | Informasi terbaru tentang cara membuat server notebook di EC2 instans Amazon yang terkait dengan titik akhir pengembangan. Untuk informasi selengkapnya, lihat Membuat Server Notebook yang Dikaitkan dengan Titik Akhir Pengembangan. | 9 Juli 2018 |
Pembaruan kini tersedia melalui RSS | Anda sekarang dapat berlangganan umpan RSS untuk menerima notifikasi tentang pembaruan untuk Panduan Developer AWS Glue . | 25 Juni 2018 |
Support pemberitahuan penundaan untuk pekerjaan | Penambahan informasi tentang mengkonfigurasi ambang penundaan saat tugas berjalan. Untuk informasi selengkapnya, lihat Menambahkan Tugas di AWS Glue. | 25 Mei 2018 |
Konfigurasikan crawler untuk menambahkan kolom baru | Menambahkan informasi tentang opsi konfigurasi baru untuk crawler, MergeNewColumns. Untuk informasi selengkapnya, lihat Mengkonfigurasi Crawler. | 7 Mei 2018 |
Support timeout pekerjaan | Penambahan informasi tentang menetapkan ambang batas habis waktu saat tugas berjalan. Untuk informasi selengkapnya, lihat Menambahkan Tugas di AWS Glue. | 10 April 2018 |
Support Scala ETL script dan memicu pekerjaan berdasarkan status run tambahan | Penambahan informasi tentang menggunakan Scala sebagai bahasa pemrograman ETL. Selain itu, API pemicu sekarang mendukung pengaktifan ketika ada salah satu syarat terpenuhi (selain semua syarat). Selain itu, tugas dapat dipicu berdasarkan tugas "gagal" atau "berhenti" (selain eksekusi tugas "berhasil"). | 12 Januari 2018 |
Pembaruan sebelumnya
Tabel berikut menjelaskan perubahan penting dalam setiap rilis Panduan Developer AWS Glue sebelum Januari 2018.
| Perubahan | Deskripsi | Tanggal |
|---|---|---|
| Support sumber data XML dan opsi konfigurasi crawler yang baru | Penambahan informasi tentang cara mengklasifikasikan sumber data XML dan opsi crawler baru untuk perubahan partisi. | 16 November 2017 |
| Transformasi baru, dukungan untuk mesin basis data Amazon RDS tambahan, dan titik akhir pengembangan tambahan | Penambahan informasi tentang transformasi peta dan filter, dukungan untuk Amazon RDS Microsoft SQL Server, dan Amazon RDS Oracle, dan fitur baru untuk titik akhir pengembangan. | 29 September 2017 |
| AWS Glue rilis awal | Ini adalah rilis awal dari Panduan Developer AWS Glue . | 14 Agustus, 2017 |
