View a markdown version of this page

Gunakan protokol komit EMRFS S3-optimized - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan protokol komit EMRFS S3-optimized

Protokol S3-optimized komit EMRFS adalah FileCommitProtocolimplementasi alternatif yang dioptimalkan untuk menulis file dengan timpa partisi dinamis Spark ke Amazon S3 saat menggunakan EMRFS. Protokol meningkatkan kinerja aplikasi dengan menghindari operasi ganti nama di Amazon S3 selama fase komit pekerjaan menimpa partisi dinamis Spark.

Perhatikan bahwa EMRFS S3-optimized committer juga meningkatkan kinerja dengan menghindari operasi ganti nama. Namun, ini tidak berfungsi untuk kasus penimpaan partisi dinamis, sedangkan peningkatan protokol komit hanya menargetkan kasus penimpaan partisi dinamis.

Protokol komit tersedia dengan Amazon EMR rilis 5.30.0 dan yang lebih baru dan 6.2.0 dan yang lebih baru dan diaktifkan secara default. Amazon EMR menambahkan peningkatan paralelisme dimulai dengan rilis 5.31.0. Protokol ini digunakan untuk pekerjaan Spark yang menggunakan Spark, DataFrames, atau Datasets. Ada keadaan di mana protokol komit tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk protokol komit EMRFS S3-optimized.

Topik