Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Bagian ini mencakup hal-hal yang perlu dipertimbangkan saat menggunakan pengoptimal tabel di dalam. AWS Glue Data Catalog
Format dan batasan yang didukung untuk pemadatan data terkelola
Pemadatan data mendukung berbagai tipe data dan format kompresi untuk membaca dan menulis data, termasuk membaca data dari tabel terenkripsi.
Pemadatan data mendukung:
Enkripsi - Pemadatan data hanya mendukung enkripsi Amazon S3 default (SSE-S3) dan enkripsi KMS sisi server (SSE-KMS).
Pemadatan paket bin
-
Anda dapat menjalankan pemadatan dari akun tempat Katalog Data berada saat bucket Amazon S3 yang menyimpan data yang mendasarinya ada di akun lain. Untuk melakukan ini, peran pemadatan memerlukan akses ke bucket Amazon S3.
Pemadatan data saat ini tidak mendukung:
Penyortiran reguler atau penyortiran urutan-z
-
Pemadatan pada tabel lintas akun — Anda tidak dapat menjalankan pemadatan pada tabel lintas akun.
-
Pemadatan pada tabel Lintas wilayah — Anda tidak dapat menjalankan pemadatan pada tabel Lintas wilayah.
Mengaktifkan pemadatan pada tautan sumber daya
-
Tabel di kelas penyimpanan Amazon S3 Express One Zone — Anda tidak dapat menjalankan pemadatan pada S3 Express One Zone Iceberg Tables.
Pertimbangan untuk retensi snapshot dan pengoptimal penghapusan file yatim
Pertimbangan berikut berlaku untuk retensi snapshot dan pengoptimal penghapusan file yatim piatu.
Proses penyimpanan snapshot dan penghapusan file yatim piatu memiliki batas maksimum untuk menghapus 1.000.000 file per proses. Saat menghapus snapshot yang kedaluwarsa, jika jumlah file yang memenuhi syarat untuk dihapus melebihi 1.000.000, file yang tersisa di luar ambang batas itu akan terus ada di penyimpanan tabel sebagai file yatim piatu.
-
Snapshot akan dipertahankan oleh pengoptimal retensi snapshot hanya jika kedua kriteria terpenuhi: jumlah minimum snapshot yang harus disimpan dan periode retensi yang ditentukan.
-
Pengoptimal retensi snapshot menghapus metadata snapshot kedaluwarsa dari Apache Iceberg, mencegah kueri perjalanan waktu untuk snapshot kedaluwarsa dan secara opsional menghapus file data terkait.
-
Pengoptimal penghapusan file yatim piatu menghapus data yatim piatu dan file metadata yang tidak lagi direferensikan oleh metadata Iceberg jika waktu pembuatannya sebelum periode retensi penghapusan file yatim dari saat pengoptimal dijalankan.
-
Apache Iceberg memfasilitasi kontrol versi melalui cabang dan tag, yang diberi nama pointer ke status snapshot tertentu. Setiap cabang dan tag mengikuti siklus hidup independennya sendiri, diatur oleh kebijakan retensi yang ditentukan pada tingkat masing-masing. AWS Glue Data Catalog Pengoptimal mempertimbangkan kebijakan siklus hidup ini, memastikan kepatuhan terhadap aturan retensi yang ditentukan. Kebijakan retensi tingkat cabang dan tag lebih diutamakan daripada konfigurasi pengoptimal.
Untuk informasi selengkapnya, lihat Percabangan dan Penandaan
di dokumentasi Apache Iceberg. -
Retensi snapshot dan pengoptimal penghapusan file yatim piatu akan menghapus file yang memenuhi syarat untuk dibersihkan sesuai parameter yang dikonfigurasi. Tingkatkan kontrol Anda atas penghapusan file dengan menerapkan kebijakan pembuatan versi dan siklus hidup S3 pada bucket yang sesuai.
Untuk petunjuk terperinci tentang pengaturan pembuatan versi dan pembuatan aturan siklus hidup, lihat. https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html
-
Untuk penentuan file yatim piatu yang tepat, pastikan bahwa lokasi tabel yang disediakan dan sub-jalur apa pun tidak tumpang tindih dengan atau berisi data dari tabel atau sumber data lain. Jika jalur tumpang tindih, Anda berisiko kehilangan data yang tidak dapat dipulihkan dari penghapusan file yang tidak diinginkan.
