Kesalahan kluster Amazon EMR: Node yang terdaftar penolakan - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kesalahan kluster Amazon EMR: Node yang terdaftar penolakan

NodeManager Daemon bertanggung jawab untuk meluncurkan dan mengelola kontainer pada node inti dan tugas. Kontainer dialokasikan ke NodeManager daemon oleh ResourceManager daemon yang berjalan pada node master. ResourceManager Memonitor NodeManager simpul melalui detak jantung.

Ada beberapa situasi di mana ResourceManager daemon menolak mencantumkan a NodeManager, menghapusnya dari kumpulan node yang tersedia untuk memproses tugas:

  • Jika NodeManager belum mengirim detak jantung ke ResourceManager daemon dalam 10 menit terakhir (600.000 milidetik). Periode waktu ini dapat dikonfigurasi menggunakan pengaturan konfigurasi yarn.nm.liveness-monitor.expiry-interval-ms. Untuk informasi selengkapnya tentang mengubah klasifikasi konfigurasi Yarn, lihat Mengkonfigurasi aplikasi dalam Panduan Rilis Amazon EMR.

  • NodeManager memeriksa kesehatan disk yang ditentukan oleh yarn.nodemanager.local-dirs danyarn.nodemanager.log-dirs. Pemeriksaan ini termasuk izin dan ruang disk kosong (< 90%). Jika disk gagal memeriksa, NodeManager berhenti menggunakan disk tertentu tetapi masih melaporkan status node sebagai sehat. Jika sejumlah disk gagal dalam pemeriksaan, node dilaporkan tidak sehat ke wadah baru ResourceManager dan wadah baru tidak ditetapkan ke node.

Master aplikasi juga dapat menolak daftar NodeManager node jika memiliki lebih dari tiga tugas yang gagal. Anda dapat mengubah ini ke nilai yang lebih tinggi menggunakan parameter konfigurasi mapreduce.job.maxtaskfailures.per.tracker. Pengaturan konfigurasi lain yang mungkin Anda ubah akan mengendalikan berapa kali percobaan tugas dilakukan sebelum menandainya sebagai gagal: mapreduce.map.max.attempts untuk tugas pemetaan dan mapreduce.reduce.maxattempts untuk tugas peredaman. Untuk informasi selengkapnya tentang mengubah klasifikasi konfigurasi, lihat Mengkonfigurasi aplikasi dalam Panduan Rilis Amazon EMR.