Gunakan penskalaan cluster - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan penskalaan cluster

Anda dapat menyesuaikan jumlah EC2 instans Amazon yang tersedia ke EMR kluster Amazon secara otomatis atau manual sebagai respons terhadap beban kerja yang memiliki berbagai tuntutan. Untuk menggunakan penskalaan otomatis, Anda memiliki dua opsi. Anda dapat mengaktifkan penskalaan EMR terkelola Amazon atau membuat kebijakan penskalaan otomatis khusus. Tabel berikut menjelaskan perbedaan antara dua opsi tersebut.

Penskalaan EMR terkelola Amazon Penskalaan otomatis kustom

Kebijakan dan aturan penskalaan

Tidak ada kebijakan yang diperlukan. Amazon EMR mengelola aktivitas penskalaan otomatis dengan terus mengevaluasi metrik klaster dan membuat keputusan penskalaan yang dioptimalkan.

Anda perlu menentukan dan mengelola kebijakan dan aturan penskalaan otomatis, seperti kondisi spesifik yang memicu aktivitas penskalaan, periode evaluasi, periode pendinginan, dll.

EMRRilis Amazon yang didukung

Amazon EMR versi 5.30.0 dan lebih tinggi (kecuali Amazon EMR versi 6.0.0)

Amazon EMR versi 4.0.0 dan lebih tinggi

Komposisi klaster yang didukung

Grup instans atau armada instans

Grup instans saja

Konfigurasi batas penskalaan

Batas penskalaan dikonfigurasi untuk seluruh klaster.

Batas penskalaan hanya dapat dikonfigurasi untuk setiap grup instans.

Frekuensi evaluasi metrik

Setiap 5 sampai 10 detik

Evaluasi metrik yang lebih sering memungkinkan Amazon EMR membuat keputusan penskalaan yang lebih tepat.

Anda dapat menentukan periode evaluasi hanya dalam penambahan lima menit.

Aplikasi yang didukung

Hanya YARN aplikasi yang didukung, seperti Spark, Hadoop, Hive, Flink. Penskalaan EMR terkelola Amazon tidak mendukung aplikasi yang tidak didasarkan padaYARN, seperti Presto atau. HBase

Anda dapat memilih aplikasi mana yang didukung saat menentukan aturan penskalaan otomatis.

Pertimbangan

  • EMRCluster Amazon selalu terdiri dari satu atau tiga node utama. Setelah Anda awalnya mengkonfigurasi cluster, Anda hanya dapat menskalakan inti dan node tugas. Anda tidak dapat menskalakan jumlah node utama untuk cluster.

  • Misalnya grup, operasi konfigurasi ulang dan operasi pengubahan ukuran terjadi secara berurutan dan tidak bersamaan. Jika Anda memulai konfigurasi ulang saat grup instans mengubah ukuran, konfigurasi ulang dimulai setelah grup instance menyelesaikan pengubahan ukuran yang sedang berlangsung. Sebaliknya, jika Anda memulai operasi pengubahan ukuran saat instans mengelompokkan konfigurasi ulangnya.