Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pertimbangan penyetelan Job
Pada eksekutor Spark, protokol komit EM S3-optimized RFS mengkonsumsi sejumlah kecil memori untuk setiap file yang ditulis oleh upaya tugas sampai tugas diikat atau dibatalkan. Dalam kebanyakan pekerjaan, jumlah memori yang dikonsumsi dapat diabaikan.
Pada driver Spark, protokol komit EMR S3-optimized FS memerlukan memori untuk menyimpan info metadata dari setiap file yang dikomit sampai pekerjaan diikat atau dibatalkan. Di sebagian besar pekerjaan, pengaturan memori driver Spark default dapat diabaikan.
Untuk pekerjaan yang memiliki tugas yang berjalan lama yang menulis sejumlah besar file, memori yang dikonsumsi protokol commit mungkin terlihat dan memerlukan penyesuaian pada memori yang dialokasikan untuk Spark, terutama untuk pelaksana Spark. Anda dapat menyetel memori menggunakan spark.driver.memory properti untuk driver Spark, dan spark.executor.memory properti untuk pelaksana Spark. Sebagai pedoman, tugas tunggal menulis 100.000 file biasanya akan memerlukan tambahan 100MB memori. Untuk informasi lebih lanjut, lihat Properti aplikasi
