Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengaktifkan komitmen yang dioptimalkan Hive EMRFS S3
Hive EMRFS S3 Optimized Committer adalah cara alternatif yang menggunakan EMR Hive untuk menulis file untuk menyisipkan kueri saat menggunakan EMRFS. Committer menghilangkan daftar dan mengganti nama operasi yang dilakukan di Amazon S3 dan meningkatkan kinerja aplikasi. Fitur ini tersedia dimulai dengan EMR 5.34 dan EMR 6.5.
Mengaktifkan committer
Jika Anda ingin mengaktifkan EMR Hive untuk digunakan untuk melakukan data sebagai default HiveEMRFSOptimizedCommitter untuk semua tabel terkelola dan eksternal Hive, gunakan konfigurasi berikut hive-site di EMR 6.5.0 atau EMR 5.34.0 cluster.
[
{
"classification": "hive-site",
"properties": {
"hive.blobstore.use.output-committer": "true"
}
}
]catatan
Jangan aktifkan fitur ini saat hive.exec.parallel disetel ketrue.
Batasan
Batasan dasar berikut berlaku untuk tag:
-
Mengaktifkan Hive untuk menggabungkan file kecil secara otomatis tidak didukung. Logika komit Hive default akan digunakan bahkan ketika committer yang dioptimalkan diaktifkan.
-
Tabel HIVE ACID tidak didukung. Logika komit Hive default akan digunakan bahkan ketika committer yang dioptimalkan diaktifkan.
-
Nomenklatur penamaan file untuk file yang ditulis diubah dari Hive menjadi.
<task_id>_<attempt_id>_<copy_n><task_id>_<attempt_id>_<copy_n>_<query_id>Misalnya, sebuah file bernamas3://warehouse/table/partition=1/000000_0akan diubah menjadis3://warehouse/table/partition=1/000000_0-hadoop_20210714130459_ba7c23ec-5695-4947-9d98-8a40ef759222-1.query_idBerikut adalah kombinasi dari nama pengguna, cap waktu, dan UUID. -
Ketika partisi khusus berada di sistem file yang berbeda (HDFS, S3), fitur ini dinonaktifkan secara otomatis. Logika komit Hive default akan digunakan saat diaktifkan.
