Kesalahan kluster Amazon EMR: Kesalahan ruang HDFS tidak mencukupi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kesalahan kluster Amazon EMR: Kesalahan ruang HDFS tidak mencukupi

Kesalahan ruang yang tidak mencukupi Hadoop Distributed File System (HDFS) dapat terjadi jika Anda mencoba menghapus node inti, tetapi Amazon EMR tidak dapat menyelesaikan operasi dengan aman karena ruang yang tidak memadai yang tersisa di HDFS. Sebelum Amazon EMR menghapus node inti, semua data HDFS pada node harus ditransfer ke node inti lainnya untuk memastikan redundansi data. Namun, jika tidak ada cukup ruang pada node inti lainnya untuk replikasi, Amazon EMR tidak dapat menonaktifkan node dengan anggun.

Kemungkinan penyebab

Lihat berikut ini untuk daftar kemungkinan penyebab kesalahan ruang HDFS tidak mencukupi:

  • Jika Anda secara manual menurunkan grup instans inti atau armada instans ketika tidak ada cukup ruang HDFS pada node yang tersisa untuk replikasi data sebelum skala turun.

  • Penskalaan terkelola atau penskalaan otomatis menurunkan grup instans inti atau armada instans ketika tidak ada cukup ruang HDFS untuk replikasi data.

  • Amazon EMR mencoba mengganti node inti yang tidak sehat tetapi tidak dapat mengganti node dengan aman karena ruang HDFS yang tidak mencukupi.

Solusi dan praktik terbaik

Lihat berikut ini untuk solusi dan praktik terbaik:

  • Tingkatkan jumlah node inti di cluster EMR Amazon Anda. Jika Anda menggunakan penskalaan terkelola atau penskalaan otomatis, tingkatkan kapasitas minimum node inti Anda.

  • Gunakan volume EBS yang lebih besar untuk node inti Anda saat Anda membuat cluster EMR Anda.

  • Hapus data HDFS yang tidak dibutuhkan di kluster EMR Anda. Kami menyarankan Anda mengatur CloudWatch alarm untuk memantau HDFSUtilization metrik di klaster Anda untuk mengetahui apakah kluster EMR Anda kekurangan ruang.