View a markdown version of this page

Gunakan penskalaan cluster Amazon EMR untuk menyesuaikan perubahan beban kerja - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan penskalaan cluster Amazon EMR untuk menyesuaikan perubahan beban kerja

Anda dapat menyesuaikan jumlah instans Amazon EC2 yang tersedia untuk klaster Amazon EMR secara otomatis atau manual dalam menanggapi beban kerja yang memiliki berbagai tuntutan. Untuk menggunakan penskalaan otomatis, Anda memiliki dua opsi. Anda dapat mengaktifkan penskalaan terkelola Amazon EMR atau membuat kebijakan penskalaan otomatis khusus. Tabel berikut menjelaskan perbedaan antara dua opsi tersebut.

Penskalaan terkelola Amazon EMR Penskalaan otomatis kustom

Kebijakan dan aturan penskalaan

Tidak ada kebijakan yang diperlukan. Amazon EMR mengelola aktivitas penskalaan otomatis dengan terus mengevaluasi metrik cluster dan membuat keputusan penskalaan yang dioptimalkan.

Anda perlu menentukan dan mengelola kebijakan dan aturan penskalaan otomatis, seperti kondisi spesifik yang memicu aktivitas penskalaan, periode evaluasi, periode pendinginan, dll.

Rilis Amazon EMR yang didukung

Amazon EMR versi 5.30.0 dan lebih tinggi (kecuali Amazon EMR versi 6.0.0)

Amazon EMR versi 4.0.0 dan lebih tinggi

Komposisi klaster yang didukung

Grup instans atau armada instans

Grup instans saja

Konfigurasi batas penskalaan

Batas penskalaan dikonfigurasi untuk seluruh klaster.

Batas penskalaan hanya dapat dikonfigurasi untuk setiap grup instans.

Frekuensi evaluasi metrik

Setiap 5 sampai 10 detik

Evaluasi metrik yang lebih sering memungkinkan Amazon EMR membuat keputusan penskalaan yang lebih tepat.

Anda dapat menentukan periode evaluasi hanya dalam penambahan lima menit.

Aplikasi yang didukung

Hanya aplikasi YARN yang didukung, seperti Spark, Hadoop, Hive, Flink. Penskalaan terkelola Amazon EMR tidak mendukung aplikasi yang tidak didasarkan pada YARN, seperti Presto atau HBase.

Anda dapat memilih aplikasi mana yang didukung saat menentukan aturan penskalaan otomatis.

Pertimbangan-pertimbangan

  • Cluster Amazon EMR selalu terdiri dari satu atau tiga node utama. Setelah Anda awalnya mengkonfigurasi cluster, Anda hanya dapat menskalakan node inti dan tugas. Anda tidak dapat menskalakan jumlah node utama untuk cluster.

  • Misalnya grup, operasi konfigurasi ulang dan operasi pengubahan ukuran terjadi secara berurutan dan tidak bersamaan. Jika Anda memulai konfigurasi ulang saat grup instans mengubah ukuran, konfigurasi ulang dimulai setelah grup instans menyelesaikan perubahan ukuran yang sedang berlangsung. Sebaliknya, jika Anda memulai operasi pengubahan ukuran sementara grup instance sibuk dengan konfigurasi ulang, pengubahan ukuran dimulai setelah konfigurasi ulang selesai.