Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kesalahan EMR cluster Amazon: kesalahan faktor HDFS replikasi
Saat Anda menghapus node inti dari grup instans inti atau armada instance, Amazon EMR mungkin mengalami kesalahan HDFS replikasi. Kesalahan ini terjadi ketika Anda menghapus node inti dan jumlah node inti berada di bawah faktor dfs.replication yang dikonfigurasi untuk Hadoop Distributed File System (). HDFS Dengan demikian, Amazon tidak EMR dapat melakukan operasi dengan aman. Untuk menentukan nilai default dfs.replication konfigurasi, HDFSkonfigurasi.
Kemungkinan penyebab
Lihat berikut ini untuk kemungkinan penyebab kesalahan faktor HDFS replikasi:
-
Jika Anda mengubah ukuran grup instans inti atau armada instance secara manual di bawah
dfs.replicationfaktor yang dikonfigurasi. -
Kebijakan Anda untuk penskalaan terkelola atau penskalaan otomatis memungkinkan penskalaan untuk mengurangi jumlah node inti di bawah ambang batas.
dfs.replication -
Kesalahan ini juga dapat terjadi jika Amazon EMR mencoba mengganti node inti yang tidak sehat ketika cluster memiliki jumlah node inti minimal yang ditentukan oleh
dfs.replication.
Solusi dan praktik terbaik
Lihat berikut ini untuk solusi dan praktik terbaik:
-
Saat Anda mengubah ukuran EMR cluster Amazon secara manual, jangan turunkan di bawah
dfs.replicationkarena Amazon tidak EMR dapat menyelesaikan pengubahan ukuran dengan aman. -
Saat Anda menggunakan penskalaan terkelola atau penskalaan otomatis, pastikan kapasitas minimum klaster Anda tidak lebih rendah dari faktornya.
dfs.replication -
Jumlah instance inti harus setidaknya
dfs.replicationditambah satu. Ini memastikan bahwa Amazon EMR dapat berhasil mengganti node inti yang tidak sehat jika Anda mengaktifkan penggantian inti yang tidak sehat.
penting
Kegagalan node inti tunggal dapat menyebabkan hilangnya HDFS data jika Anda mengatur dfs.replication ke 1. Jika klaster Anda memiliki HDFS penyimpanan, sebaiknya Anda mengonfigurasi klaster dengan setidaknya empat node inti untuk beban kerja produksi guna menghindari kehilangan data dan juga menetapkan dfs.replication faktor minimal 2.
