Mengganti node yang tidak sehat dengan Amazon EMR - Amazon EMR
Penggantian node default dan pengaturan perlindungan terminasiMengonfigurasi penggantian node yang tidak sehat saat Anda meluncurkan clusterMengkonfigurasi penggantian node yang tidak sehat di cluster yang sedang berjalan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengganti node yang tidak sehat dengan Amazon EMR

Amazon EMR secara berkala menggunakan layanan pemeriksa NodeManager kesehatan di Apache Hadoop untuk memantau status node inti di Amazon Anda di cluster Amazon. EMR EC2 Jika node tidak berfungsi secara optimal, pemeriksa kesehatan melaporkan node tersebut ke pengontrol Amazon. EMR EMRPengontrol Amazon menambahkan node ke denylist, mencegah node menerima YARN aplikasi baru hingga status node membaik. Salah satu alasan umum mengapa node mungkin menjadi tidak sehat adalah karena terlalu banyak memanfaatkan disk. Untuk informasi selengkapnya tentang mengidentifikasi node dan pemulihan yang tidak sehat, lihat Kesalahan sumber daya.

Anda dapat memilih apakah Amazon EMR harus menghentikan node yang tidak sehat atau menyimpannya di cluster. Jika Anda mematikan penggantian node yang tidak sehat, node yang tidak sehat tetap berada di denylist dan terus menghitung kapasitas cluster. Anda masih dapat terhubung ke instans EC2 inti Amazon untuk konfigurasi dan pemulihan, sehingga Anda dapat mengubah ukuran klaster untuk menambah kapasitas. Perhatikan bahwa Amazon EMR akan mengganti node yang tidak sehat meskipun perlindungan terminasi aktif.

Jika penggantian node yang tidak sehat aktif, Amazon EMR akan menghentikan node inti yang tidak sehat dan menyediakan instance baru berdasarkan jumlah instance dalam grup instans atau kapasitas target untuk armada instance. Jika beberapa atau semua node inti tidak sehat selama lebih dari 45 menit, Amazon EMR akan dengan anggun mengganti node.

penting

Untuk menghindari kemungkinan kehilangan HDFS data secara permanen karena Amazon EMR dengan anggun menggantikan instance inti yang tidak sehat, kami sarankan Anda selalu mencadangkan data Anda.

Amazon EMR menerbitkan CloudWatch Acara Amazon untuk penggantian node yang tidak sehat, sehingga Anda dapat melacak apa yang terjadi dengan instance inti Anda yang tidak sehat. Untuk informasi selengkapnya, lihat peristiwa penggantian node yang tidak sehat.

Penggantian node default dan pengaturan perlindungan terminasi

Penggantian node yang tidak sehat tersedia untuk semua EMR rilis Amazon, tetapi pengaturan default bergantung pada label rilis yang Anda pilih. Anda dapat mengubah salah satu pengaturan ini dengan mengonfigurasi penggantian node yang tidak sehat saat membuat cluster baru atau dengan pergi ke konfigurasi cluster kapan saja.

Jika Anda membuat klaster simpul tunggal atau klaster ketersediaan tinggi yang menjalankan Amazon EMR release 7.0 atau yang lebih rendah, pengaturan default penggantian node yang tidak sehat bergantung pada perlindungan terminasi:

  • Mengaktifkan perlindungan terminasi menonaktifkan penggantian node yang tidak sehat.

  • Menonaktifkan perlindungan terminasi memungkinkan penggantian node yang tidak sehat.

Mengonfigurasi penggantian node yang tidak sehat saat Anda meluncurkan cluster

Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat saat meluncurkan klaster menggunakan konsol, konsol AWS CLI, atau fileAPI.

Pengaturan penggantian node default yang tidak sehat tergantung pada cara Anda meluncurkan cluster:

  • EMRKonsol Amazon — penggantian node yang tidak sehat diaktifkan secara default.

  • AWS CLI aws emr create-cluster— Penggantian node yang tidak sehat diaktifkan secara default kecuali Anda menentukan--no-unhealthy-node-replacement.

  • EMRRunJobFlow APIPerintah Amazon — penggantian node yang tidak sehat diaktifkan secara default kecuali Anda menetapkan nilai UnhealthyNodeReplacement Boolean ke True atauFalse.

Console
Untuk mengaktifkan atau menonaktifkan penggantian node yang tidak sehat saat Anda membuat cluster dengan konsol

  1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMREC2di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Untuk versi EMR rilis, pilih label EMR rilis Amazon yang Anda inginkan.

  4. Di bawah terminasi Cluster dan penggantian node, pastikan penggantian node yang tidak sehat (disarankan) telah dipilih sebelumnya, atau hapus pilihan untuk mematikannya.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

AWS CLI
Untuk mengaktifkan atau menonaktifkan penggantian node yang tidak sehat saat Anda membuat cluster menggunakan AWS CLI

  • Dengan AWS CLI, Anda dapat meluncurkan cluster dengan penggantian node yang tidak sehat diaktifkan dengan create-cluster perintah dengan --unhealthy-node-replacement parameter. Penggantian node yang tidak sehat aktif secara default.

    Contoh berikut membuat cluster dengan penggantian node yang tidak sehat diaktifkan:

    catatan

    Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

    aws emr create-cluster --name "SampleCluster" --release-label emr-7.3.0 \
--applications Name=Hadoop Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3 --unhealthy-node-replacement

    Untuk informasi selengkapnya tentang menggunakan EMR perintah Amazon di AWS CLI, lihat EMR AWS CLI perintah Amazon.

Mengkonfigurasi penggantian node yang tidak sehat di cluster yang sedang berjalan

Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat untuk cluster yang sedang berjalan menggunakan konsol AWS CLI, the, atauAPI.

Console
Untuk mengaktifkan atau menonaktifkan penggantian node yang tidak sehat untuk cluster yang sedang berjalan dengan konsol

  1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

  2. Di bawah EMREC2di panel navigasi kiri, pilih Cluster, dan pilih cluster yang ingin Anda perbarui.

  3. Pada tab Properties pada halaman detail cluster, temukan terminasi cluster dan penggantian node dan pilih Edit.

  4. Pilih atau kosongkan kotak centang penggantian simpul yang tidak sehat untuk mengaktifkan atau menonaktifkan fitur. Kemudian pilih Simpan perubahan untuk mengonfirmasi.

AWS CLI
Untuk mengaktifkan atau menonaktifkan penggantian node yang tidak sehat untuk cluster yang sedang berjalan menggunakan AWS CLI

  • Untuk mengaktifkan penggantian node yang tidak sehat pada cluster yang sedang berjalan dengan AWS CLI, gunakan modify-cluster-attributes perintah dengan --unhealthy-node-replacement parameter. Untuk menonaktifkannya, gunakan parameter --no-unhealthy-node-replacement.

    Contoh berikut mengaktifkan penggantian node yang tidak sehat pada cluster dengan ID j-3KVTXXXXXX7UG:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --unhealthy-node-replacement

    Contoh berikut mematikan penggantian node yang tidak sehat pada cluster yang sama:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-unhealthy-node-replacement