Gunakan protokol komit yang dioptimalkan EMRFS S3

Protokol komit yang dioptimalkan EMRFS S3 adalah FileCommitProtocolimplementasi alternatif yang dioptimalkan untuk menulis file dengan partisi dinamis Spark menimpa ke Amazon S3 saat menggunakan EMRFS. Protokol meningkatkan kinerja aplikasi dengan menghindari operasi ganti nama di Amazon S3 selama fase komit pekerjaan menimpa partisi dinamis Spark.

Perhatikan bahwa Gunakan committer yang dioptimalkan EMRFS S3 juga meningkatkan kinerja dengan menghindari operasi ganti nama. Namun, ini tidak berfungsi untuk kasus penimpaan partisi dinamis, sedangkan peningkatan protokol komit hanya menargetkan kasus penimpaan partisi dinamis.

Protokol komit tersedia dengan Amazon EMR rilis 5.30.0 dan yang lebih baru dan 6.2.0 dan yang lebih baru dan diaktifkan secara default. Amazon EMR menambahkan peningkatan paralelisme dimulai dengan rilis 5.31.0. Protokol ini digunakan untuk pekerjaan Spark yang menggunakan Spark, DataFrames, atau Datasets. Ada keadaan di mana protokol komit tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk protokol komit yang dioptimalkan EMRFS S3.