Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pertimbangan penyetelan Job
Pada pelaksana Spark, protokol komit yang dioptimalkan EMRFS S3 menghabiskan sejumlah kecil memori untuk setiap file yang ditulis oleh upaya tugas sampai tugas dilakukan atau dibatalkan. Dalam kebanyakan pekerjaan, jumlah memori yang dikonsumsi dapat diabaikan.
Pada driver Spark, protokol komit yang dioptimalkan EMRFS S3 memerlukan memori untuk menyimpan info metadata dari setiap file yang dikomit hingga pekerjaan dikomit atau dibatalkan. Di sebagian besar pekerjaan, pengaturan memori driver Spark default dapat diabaikan.
Untuk pekerjaan yang memiliki tugas jangka panjang yang menulis sejumlah besar file, memori yang dikonsumsi protokol komit mungkin terlihat dan memerlukan penyesuaian pada memori yang dialokasikan untuk Spark, terutama untuk pelaksana Spark. Anda dapat menyetel memori menggunakan spark.driver.memory properti untuk driver Spark, dan spark.executor.memory properti untuk pelaksana Spark. Sebagai pedoman, tugas tunggal menulis 100.000 file biasanya akan memerlukan tambahan 100MB memori. Untuk informasi lebih lanjut, lihat Properti aplikasi
