Batasan - AWS Glue
Batasan untuk tabel format danau data yang dikelola oleh izin Lake Formation

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Batasan

Pertimbangkan batasan berikut sebelum Anda menggunakan kerangka kerja data lake dengan AWS Glue.

  • AWS Glue GlueContextMetode berikut untuk DynamicFrame tidak mendukung membaca dan menulis tabel kerangka data lake. Gunakan GlueContext metode untuk DataFrame atau Spark DataFrame API sebagai gantinya.

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • GlueContextMetode berikut ini DataFrame didukung dengan kontrol izin Lake Formation:

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

  • Pengelompokan file kecil tidak didukung.

  • Bookmark Job tidak didukung.

  • Apache Hudi 0.10.1 untuk AWS Glue 3.0 tidak mendukung tabel Hudi Merge on Read (MoR).

  • ALTER TABLE … RENAME TOtidak tersedia untuk Apache Iceberg 0.13.1 untuk 3.0. AWS Glue

Batasan untuk tabel format danau data yang dikelola oleh izin Lake Formation

Format data lake terintegrasi dengan izin AWS Glue ETL via Lake Formation. Membuat DynamicFrame penggunaan create_dynamic_frame tidak didukung. Untuk informasi selengkapnya, lihat contoh berikut ini:

catatan

Integrasi dengan izin AWS Glue ETL via Lake Formation untuk Apache Hudi, Apache Iceberg, dan Delta Lake hanya didukung di versi 4.0. AWS Glue

Apache Iceberg memiliki integrasi terbaik dengan izin via Lake AWS Glue ETL Formation. Ini mendukung hampir semua operasi dan termasuk SQL dukungan.

Hudi mendukung sebagian besar operasi dasar dengan pengecualian operasi administratif. Ini karena opsi ini umumnya dilakukan melalui penulisan kerangka data dan ditentukan melalui. additional_options Anda perlu menggunakan AWS Glue APIs DataFrames untuk membuat operasi Anda karena Spark tidak SQL didukung.

Delta Lake hanya mendukung pembacaan dan penambahan dan penimpaan data tabel. Delta Lake membutuhkan penggunaan perpustakaan mereka sendiri untuk dapat melakukan berbagai tugas seperti pembaruan.

Fitur berikut tidak tersedia untuk tabel Iceberg yang dikelola oleh izin Lake Formation.

  • Pemadatan menggunakan AWS Glue ETL

  • SQLDukungan percikan melalui AWS Glue ETL

Berikut ini adalah batasan tabel Hudi yang dikelola oleh izin Lake Formation:

  • Penghapusan file yatim piatu

Berikut ini adalah batasan tabel Delta Lake yang dikelola oleh izin Lake Formation:

  • Semua fitur selain memasukkan dan membaca dari tabel Delta Lake.