Tingkatkan kinerja Spark dengan Amazon S3

Amazon EMR menawarkan fitur untuk membantu mengoptimalkan kinerja saat menggunakan Spark untuk query, membaca dan menulis data yang disimpan di Amazon S3.

S3 Select dapat meningkatkan kinerja query untuk file CSV dan JSON di beberapa aplikasi dengan “menekan” pengolahan ke Amazon S3.

S3-optimized Committer EMRFS adalah alternatif untuk OutputCommitter kelas, yang menggunakan fitur unggahan multibagian dari EMRFS untuk meningkatkan kinerja saat menulis file Parquet ke Amazon S3 menggunakan Spark,, dan Datasets. DataFrames

Topik

Gunakan S3 Select dengan Spark untuk meningkatkan kinerja kueri
Percikan EMR MagicCommitProtocol
Gunakan komitter EMRFS S3-optimized
Gunakan protokol komit EMRFS S3-optimized
Coba lagi permintaan Amazon S3 dengan EMRFS

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Menulis aplikasi Spark

Gunakan S3 Select