View a markdown version of this page

Gunakan protokol komit EMRFS S3-optimized - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan protokol komit EMRFS S3-optimized

Protokol komit EMR S3-optimized FS adalah FileCommitProtocol implementasi alternatif yang dioptimalkan untuk menulis file dengan penggantian partisi dinamis Spark ke Amazon S3 saat menggunakan EMRFS. Protokol meningkatkan kinerja aplikasi dengan menghindari operasi penggantian nama di Amazon S3 selama fase komit pekerjaan overwrite partisi dinamis Spark.

Perhatikan bahwa commit EMRFS S3-optimized juga meningkatkan kinerja dengan menghindari operasi penggantian nama. Namun, ini tidak berfungsi untuk kasus penggantian partisi dinamis, sedangkan peningkatan protokol komit hanya menargetkan kasus penggantian partisi dinamis.

Protokol komit tersedia dengan Amazon EMR rilis 5.30.0 dan yang lebih baru dan 6.2.0 dan yang lebih baru dan diaktifkan secara default. Amazon EMR menambahkan peningkatan paralelisme dimulai dengan rilis 5.31.0. Protokol ini digunakan untuk pekerjaan Spark yang menggunakan Spark, DataFrames, atau Datasets. Ada keadaan di mana protokol commit tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk protokol komit EMRFS S3-optimized.

Topik