Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pertimbangan penyetelan Job
Komitter yang EMRFS dioptimalkan S3 mengkonsumsi sejumlah kecil memori untuk setiap file yang ditulis oleh upaya tugas sampai tugas dilakukan atau dibatalkan. Dalam kebanyakan pekerjaan, jumlah memori yang dikonsumsi dapat diabaikan. Untuk pekerjaan yang memiliki tugas berjalan lama yang menulis sejumlah besar file, memori yang dikonsumsi oleh committer mungkin terlihat dan memerlukan penyesuaian untuk memori yang dialokasikan untuk pelaksana Spark. Anda dapat menyetel memori pelaksana menggunakan spark.executor.memory properti. Sebagai pedoman, tugas tunggal menulis 100.000 file biasanya akan memerlukan tambahan 100MB memori. Untuk informasi lebih lanjut, lihat Properti aplikasi
