Gunakan komitter EMRFS S3-optimized

S3-optimized Committer EMRFS adalah OutputCommitter implementasi alternatif yang dioptimalkan untuk menulis file ke Amazon S3 saat menggunakan EMRFS. S3-optimized Committer EMRFS meningkatkan kinerja aplikasi dengan menghindari operasi daftar dan mengganti nama yang dilakukan di Amazon S3 selama fase tugas dan komit tugas. Committer tersedia dengan Amazon EMR rilis 5.19.0 dan yang lebih baru, dan diaktifkan secara default dengan Amazon EMR 5.20.0 dan yang lebih baru. Committer digunakan untuk pekerjaan Spark yang menggunakan Spark, DataFrames, atau Datasets. Dimulai dengan Amazon EMR 6.4.0, commit ini dapat digunakan untuk semua format umum termasuk parket, ORC, dan format berbasis teks (termasuk CSV dan JSON). Untuk rilis sebelum Amazon EMR 6.4.0, hanya format Parquet yang didukung. Ada keadaan di mana komite tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk Committer EMRFS S3-optimized.