Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Protokol komit EMRFS dan S3-optimized unggahan multibagian
Untuk menggunakan memanfaatkan optimasi untuk penggantian partisi dinamis dalam protokol komit EMRFS S3-optimized , unggahan multipart harus diaktifkan di Amazon EMR. Unggahan multipart diaktifkan secara default. Anda dapat mengaktifkannya kembali jika diperlukan. Untuk informasi lebih lanjut, lihat Konfigurasi unggahan multipart untuk Amazon S3 di Amazon EMR.
Selama penggantian partisi dinamis, protokol komit EM S3-optimized RFS menggunakan karakteristik seperti transaksi dari upload multipart untuk memastikan file yang ditulis oleh upaya tugas hanya muncul di lokasi keluaran pekerjaan setelah komit pekerjaan. Dengan menggunakan unggahan multipart dengan cara ini, protokol commit meningkatkan kinerja komit pekerjaan dibandingkan default. SQLHadoopMapReduceCommitProtocol Saat menggunakan protokol komit EMR S3-optimized FS, ada beberapa perbedaan utama dari perilaku upload multipart tradisional yang perlu dipertimbangkan:
-
Unggahan multipart selalu dilakukan terlepas dari ukuran file. Ini berbeda dari perilaku default EMRFS, di mana
fs.s3n.multipart.uploads.split.sizeproperti mengontrol ukuran file di mana multipart upload dipicu. -
Multipart upload yang tersisa dalam keadaan tidak lengkap untuk jangka waktu yang lebih lama sampai tugas melakukan atau aborts. Ini berbeda dari perilaku default EMRFS di mana upload multipart selesai ketika tugas selesai menulis file yang diberikan.
Karena perbedaan ini, jika JVM Spark Executor mogok atau mati saat tugas sedang berjalan dan menulis data ke Amazon S3, atau JVM Spark Driver mogok atau mati saat pekerjaan sedang berjalan, unggahan multipart yang tidak lengkap cenderung tertinggal. Untuk alasan ini, saat Anda menggunakan protokol komit EMR S3-optimized FS, pastikan untuk mengikuti praktik terbaik untuk mengelola unggahan multipart yang gagal. Untuk informasi lebih lanjut, lihat Praktik terbaik Untuk bekerja dengan bucket Amazon S3 dalam aplikasi Amazon EMR.
