Batasan - AWS Glue
Batasan untuk tabel format danau data yang dikelola oleh izin Lake Formation

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Batasan

Pertimbangkan batasan berikut sebelum Anda menggunakan kerangka kerja data lake dengan AWS Glue.

  • AWS Glue GlueContextMetode berikut untuk DynamicFrame tidak mendukung membaca dan menulis tabel kerangka data lake. Gunakan GlueContext metode untuk DataFrame atau Spark DataFrame API sebagai gantinya.

    • GlueContextMetode berikut untuk tidak DynamicFrame didukung dengan kontrol izin Lake Formation:

      • create_dynamic_frame.from_catalog

      • write_dynamic_frame.from_catalog

      • getDynamicFrame

      • writeDynamicFrame

    • GlueContextMetode berikut ini DataFrame didukung dengan kontrol izin Lake Formation:

      • create_data_frame.from_catalog

      • write_data_frame.from_catalog

      • getDataFrame

      • writeDataFrame

  • Pengelompokan file kecil tidak didukung.

  • Bookmark Job tidak didukung.

  • Apache Hudi 0.10.1 untuk AWS Glue 3.0 tidak mendukung tabel Hudi Merge on Read (MoR).

  • ALTER TABLE … RENAME TOtidak tersedia untuk Apache Iceberg 0.13.1 untuk 3.0. AWS Glue

Batasan untuk tabel format danau data yang dikelola oleh izin Lake Formation

Format data lake terintegrasi dengan AWS Glue ETL melalui izin Lake Formation. Membuat DynamicFrame penggunaan create_dynamic_frame tidak didukung. Untuk informasi selengkapnya, lihat contoh berikut ini:

catatan

Integrasi dengan AWS Glue ETL melalui izin Lake Formation untuk Apache Hudi, Apache Iceberg, dan Delta Lake hanya didukung di versi 4.0. AWS Glue

Apache Iceberg memiliki integrasi terbaik dengan AWS Glue ETL melalui izin Lake Formation. Ini mendukung hampir semua operasi dan termasuk dukungan SQL.

Hudi mendukung sebagian besar operasi dasar dengan pengecualian operasi administratif. Hal ini karena pilihan ini umumnya dilakukan melalui penulisan dataframes dan ditentukan melalui. additional_options Anda perlu menggunakan AWS Glue API DataFrames untuk membuat operasi Anda karena SparkSQL tidak didukung.

Delta Lake hanya mendukung pembacaan dan penambahan dan penimpaan data tabel. Delta Lake membutuhkan penggunaan perpustakaan mereka sendiri untuk dapat melakukan berbagai tugas seperti pembaruan.

Fitur berikut tidak tersedia untuk tabel Iceberg yang dikelola oleh izin Lake Formation.

  • Pemadatan menggunakan AWS Glue ETL

  • Dukungan Spark SQL melalui ETL AWS Glue

Berikut ini adalah batasan tabel Hudi yang dikelola oleh izin Lake Formation:

  • Penghapusan file yatim piatu

Berikut ini adalah batasan tabel Delta Lake yang dikelola oleh izin Lake Formation:

  • Semua fitur selain memasukkan dan membaca dari tabel Delta Lake.