Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kesalahan cluster Amazon EMR: Kesalahan faktor replikasi HDFS
Saat Anda menghapus node inti dari grup instans inti atau armada instans, Amazon EMR mungkin mengalami kesalahan replikasi HDFS. Kesalahan ini terjadi ketika Anda menghapus node inti dan jumlah node inti berada di bawah faktor dfs.replicasi yang dikonfigurasi untuk Sistem File Terdistribusi Hadoop (HDFS). Dengan demikian, Amazon EMR tidak dapat melakukan operasi dengan aman. Untuk menentukan nilai default dfs.replication konfigurasi, konfigurasi HDFS.
Kemungkinan penyebab
Lihat berikut untuk kemungkinan penyebab kesalahan faktor replikasi HDFS:
-
Jika Anda mengubah ukuran grup instans inti atau armada instans secara manual di bawah
dfs.replicationfaktor yang dikonfigurasi. -
Kebijakan Anda untuk pen skalaan ter kel ola atau penskalaan otomatis mungkin memungkinkan penskalaan untuk mengurangi jumlah node inti di bawah ambang batas.
dfs.replication -
Kesalahan ini juga dapat terjadi jika Amazon EMR mencoba mengganti node inti yang tidak sehat ketika cluster memiliki jumlah minimal node inti yang ditentukan oleh
dfs.replication.
Solusi dan praktik terbaik
Lihat berikut ini untuk solusi dan praktik terbaik:
-
Saat Anda mengubah ukuran cluster Amazon EMR secara manual, jangan menurunkan skala di bawah ini
dfs.replicationkarena Amazon EMR tidak dapat menyelesaikan perubahan ukuran dengan aman. -
Saat Anda menggunakan penskalaan terkelola atau penskalaan otomatis, pastikan kapasitas minimum cluster Anda tidak lebih rendah dari
dfs.replicationfaktor tersebut. -
Jumlah instance inti harus setidaknya
dfs.replicationditambah satu. Ini memastikan bahwa Amazon EMR dapat berhasil menggantikan node inti yang tidak sehat jika Anda mengaktifkan penggantian inti yang tidak sehat.
penting
Kegagalan node inti tunggal dapat menyebabkan hilangnya data HDFS jika Anda mengatur dfs.replication ke 1. Jika cluster Anda memiliki penyimpanan HDFS, sebaiknya Anda mengonfigurasi cluster dengan setidaknya empat node inti untuk beban kerja produksi untuk menghindari kehilangan data dan juga mengatur dfs.replication faktor ke minimal 2.
