Tabel Query Linux Foundation Delta Lake - Amazon Athena
Pertimbangan dan batasan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tabel Query Linux Foundation Delta Lake

Linux Foundation Delta Lake adalah format tabel untuk analitik data besar. Anda dapat menggunakan Amazon Athena untuk membaca tabel Delta Lake yang disimpan di Amazon S3 secara langsung tanpa harus membuat file manifes atau menjalankan pernyataan. MSCK REPAIR

Format Delta Lake menyimpan nilai minimum dan maksimum per kolom dari setiap file data. Implementasi Athena memanfaatkan informasi ini untuk memungkinkan melewatkan file pada predikat untuk menghilangkan file yang tidak diinginkan dari pertimbangan.

Pertimbangan dan batasan

Dukungan Delta Lake di Athena memiliki pertimbangan dan batasan berikut:

  • Tabel dengan AWS Glue katalog saja - Dukungan Danau Delta Asli hanya didukung melalui tabel yang terdaftar AWS Glue. Jika Anda memiliki meja Danau Delta yang terdaftar di metastore lain, Anda masih dapat menyimpannya dan memperlakukannya sebagai metastore utama Anda. Karena metadata Delta Lake disimpan dalam sistem file (misalnya, di Amazon S3) daripada di metastore, Athena hanya memerlukan properti lokasi di AWS Glue untuk membaca dari tabel Danau Delta Anda.

  • Hanya mesin V3 - Kueri Delta Lake hanya didukung pada mesin Athena versi 3. Anda harus memastikan bahwa workgroup yang Anda buat dikonfigurasi untuk menggunakan mesin Athena versi 3.

  • Tidak ada dukungan perjalanan waktu — Tidak ada dukungan untuk pertanyaan yang menggunakan kemampuan perjalanan waktu Delta Lake.

  • Hanya baca — Tulis DML pernyataan seperti UPDATEINSERT,, atau tidak DELETE didukung.

  • Dukungan Lake Formation - Integrasi Lake Formation tersedia untuk tabel Delta Lake dengan skema mereka yang sinkron AWS Glue. Untuk informasi selengkapnya, lihat Menggunakan AWS Lake Formation dengan Amazon Athena dan Mengatur izin untuk tabel Delta Lake di AWS Lake Formation Panduan Pengembang.

  • DDLDukungan terbatas - DDL Pernyataan berikut didukung:CREATE EXTERNAL TABLE,SHOW COLUMNS,SHOW TBLPROPERTIES,SHOW PARTITIONS,SHOW CREATE TABLE, danDESCRIBE. Untuk informasi tentang menggunakan CREATE EXTERNAL TABLE pernyataan, lihat Memulai bagian.

  • Melewati objek S3 Glacier tidak didukung - Jika objek di tabel Delta Lake Linux Foundation berada dalam kelas penyimpanan Amazon S3 Glacier, menyetel properti tabel agar tidak berpengaruh. read_restored_glacier_objects false

    Misalnya, Anda mengeluarkan perintah berikut:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Untuk tabel Iceberg dan Delta Lake, perintah menghasilkan kesalahan Kunci properti tabel Tidak didukung: read_restored_glacier_objects. Untuk tabel Hudi, ALTER TABLE perintah tidak menghasilkan kesalahan, tetapi objek Amazon S3 Glacier masih belum dilewati. Menjalankan SELECT kueri setelah ALTER TABLE perintah terus mengembalikan semua objek.

Versi Danau Delta dan Athena

Athena tidak menggunakan versi yang tercantum dalam dokumentasi Delta Lake. Untuk menentukan apakah tabel Danau Delta Anda kompatibel dengan Athena, pertimbangkan dua karakteristik berikut:

  • Versi pembaca - Setiap meja Delta Lake memiliki versi pembaca. Saat ini, ini adalah angka antara 1 dan 3. Pertanyaan yang menyertakan tabel dengan versi pembaca yang tidak didukung Athena akan gagal.

  • Fitur tabel - Setiap tabel Delta Lake juga dapat mendeklarasikan satu set fitur pembaca/penulis. Karena dukungan Athena terhadap Delta Lake hanya bisa dibaca, kompatibilitas fitur penulis tabel tidak berlaku. Namun, kueri pada tabel dengan fitur pembaca tabel yang tidak didukung akan gagal.

Tabel berikut menunjukkan versi pembaca Delta Lake dan fitur pembaca tabel Delta Lake yang didukung Athena.

Jenis kueri Versi pembaca yang didukung Fitur pembaca yang didukung
DQL(SELECTpernyataan) <= 3 Pemetaan kolom, timestampNtz, vektor penghapusan
DDL <= 1 Tidak berlaku. Fitur pembaca hanya dapat dideklarasikan pada tabel dengan versi pembaca 2 atau lebih besar.

Untuk membuat tabel Delta Lake di Athena dengan versi pembaca yang lebih besar dari 1, lihat. Sinkronkan metadata Delta Lake

Topik