Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menjalankan beberapa langkah secara paralel saat Anda mengirimkan pekerjaan ke Amazon EMR memerlukan keputusan awal tentang perencanaan sumber daya dan ekspektasi terkait perilaku klaster. Ini dibahas secara rinci di sini.
-
Langkah-langkah yang berjalan secara paralel dapat diselesaikan dalam urutan apa pun, tetapi langkah-langkah tertunda dalam antrean akan bertransisi ke keadaan berjalan sesuai urutan dikirimkan.
-
Ketika Anda memilih tingkat konkurensi langkah untuk klaster Anda, Anda harus mempertimbangkan apakah jenis instance node utama memenuhi persyaratan memori beban kerja pengguna atau tidak. Proses eksekusi langkah utama berjalan pada node utama untuk setiap langkah. Menjalankan beberapa langkah secara paralel membutuhkan lebih banyak memori dan pemanfaatan CPU dari node utama daripada menjalankan satu langkah pada satu waktu.
-
Untuk mencapai penjadwalan yang kompleks dan pengelolaan sumber daya dari langkah-langkah bersamaan, Anda dapat menggunakan fitur penjadwalan YARN seperti
FairScheduleratauCapacityScheduler. Misalnya, Anda dapat menggunakanFairSchedulerdenganqueueMaxAppsDefaultdiatur untuk mencegah lebih dari sejumlah pekerjaan berjalan pada satu waktu. -
Tingkat konkurensi langkah tunduk pada konfigurasi pengelola sumber daya. Sebagai contoh, jika YARN dikonfigurasi dengan hanya paralelisme
5, maka Anda hanya dapat memiliki lima aplikasi YARN yang berjalan secara paralel bahkan jikaStepConcurrencyLeveldiatur ke10. Untuk informasi selengkapnya tentang mengonfigurasi pengelola sumber daya, lihat Mengonfigurasi aplikasi di Panduan Rilis EMR Amazon. -
Anda tidak dapat menambahkan langkah dengan
ActionOnFailureselain LANJUTKAN jika tingkat konkurensi langkah klaster lebih besar dari 1. -
Jika tingkat konkurensi langkah klaster lebih besar dari satu, fitur langkah
ActionOnFailuretidak akan teraktivasi. -
Jika sebuah klaster memiliki tingkat konkurensi langkah
1tetapi memiliki beberapa langkah berjalan,TERMINATE_CLUSTER ActionOnFailuredapat teraktivasi, tetapiCANCEL_AND_WAIT ActionOnFailuretidak. Kasus edge ini muncul ketika tingkat konkurensi langkah klaster lebih besar dari satu, tapi akan turun jika ada beberapa langkah berjalan. -
Anda dapat menggunakan penskalaan otomatis EMR untuk menaikkan skala dan menurunkan skala berdasarkan sumber daya YARN guna mencegah perebutan sumber daya. Untuk informasi selengkapnya, lihat Menggunakan penskalaan otomatis dengan kebijakan khusus untuk grup instans di Panduan Manajemen EMR Amazon.
-
Ketika Anda menurunkan tingkat konkurensi langkah, EMR mengizinkan langkah-langkah berjalan untuk diselesaikan sebelum mengurangi jumlah langkah. Jika sumber daya habis karena klaster menjalankan terlalu banyak langkah secara bersamaan, kami merekomendasikan untuk secara manual membatalkan langkah-langkah berjalan untuk mengosongkan sumber daya.
