Gunakan penskalaan otomatis di Managed Service untuk Apache Flink - Layanan Terkelola untuk Apache Flink
Menerapkan penskalaan otomatis khususMenerapkan penskalaan otomatis terjadwal

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan penskalaan otomatis di Managed Service untuk Apache Flink

Layanan Terkelola untuk Apache Flink secara elastis menskalakan paralelisme aplikasi Anda untuk mengakomodasi throughput data sumber Anda dan kompleksitas operator Anda untuk sebagian besar skenario. Penskalaan otomatis diaktifkan secara default. Layanan Terkelola untuk Apache Flink memantau penggunaan resource (CPU) aplikasi Anda, dan secara elastis menskalakan paralelisme aplikasi Anda ke atas atau ke bawah sesuai dengan itu:

  • Aplikasi Anda meningkatkan skala (meningkatkan paralelisme) jika CloudWatch metrik maksimum containerCPUUtilization lebih besar dari 75 persen atau lebih selama 15 menit. Itu berarti ScaleUp tindakan dimulai ketika ada 15 titik data berturut-turut dengan periode 1 menit sama dengan atau lebih dari 75 persen. Sebuah ScaleUp tindakan menggandakan CurrentParallelism aplikasi Anda. ParallelismPerKPUtidak dimodifikasi. Akibatnya, jumlah yang dialokasikan KPUs juga berlipat ganda.

  • Aplikasi Anda menurunkan skala (mengurangi paralelisme) ketika CPU penggunaan Anda tetap di bawah 10 persen selama enam jam. Itu berarti ScaleDown tindakan dimulai ketika ada 360 titik data berturut-turut dengan periode 1 menit kurang dari 10 persen. Sebuah ScaleDown tindakan membagi dua (membulatkan) paralelisme aplikasi. ParallelismPerKPUtidak dimodifikasi, dan jumlah yang dialokasikan KPUs juga menjadi dua (dibulatkan ke atas).

catatan

Maks periode containerCPUUtilization lebih dari 1 menit dapat direferensikan untuk menemukan korelasi dengan titik data yang digunakan untuk tindakan Penskalaan, tetapi tidak perlu untuk mencerminkan momen yang tepat ketika tindakan diinisialisasi.

Layanan Terkelola untuk Apache Flink tidak akan mengurangi CurrentParallelism nilai aplikasi Anda menjadi kurang dari pengaturan aplikasi Anda. Parallelism

Ketika Layanan Terkelola untuk layanan Apache Flink menskalakan aplikasi Anda, itu akan berada dalam status. AUTOSCALING Anda dapat memeriksa status aplikasi Anda saat ini menggunakan ListApplicationstindakan DescribeApplicationatau. Saat layanan menskalakan aplikasi Anda, satu-satunya API tindakan valid yang dapat Anda gunakan adalah StopApplicationdengan Force parameter yang disetel ketrue.

Anda dapat menggunakan properti AutoScalingEnabled (bagian dari FlinkApplicationConfiguration) untuk mengaktifkan atau menonaktifkan perilaku penskalaan otomatis. AWS Akun Anda dikenakan biaya untuk KPUs Layanan Terkelola untuk ketentuan Apache Flink yang merupakan fungsi dari aplikasi parallelism dan parallelismPerKPU pengaturan Anda. Lonjakan aktivitas meningkatkan Layanan Terkelola Anda untuk biaya Apache Flink.

Untuk informasi tentang harga, lihat Amazon Managed Service untuk harga Apache Flink.

Perhatikan hal tentang penskalaan aplikasi berikut:

  • Penskalaan otomatis diaktifkan secara default.

  • Penskalaan tidak berlaku untuk notebook Studio. Namun, jika Anda men-deploy notebook Studio sebagai aplikasi dengan status tahan lama, penskalaan akan diterapkan ke aplikasi yang di-deploy.

  • Aplikasi Anda memiliki batas default 64KPUs. Untuk informasi selengkapnya, lihat Layanan Terkelola untuk kuota notebook Apache Flink dan Studio.

  • Saat penskalaan otomatis memperbarui paralelisme aplikasi, aplikasi mengalami waktu henti. Untuk menghindari waktu henti ini, lakukan hal berikut:

Menerapkan penskalaan otomatis khusus

Jika Anda menginginkan kontrol berbutir lebih halus pada penskalaan otomatis atau menggunakan metrik pemicu selaincontainerCPUUtilization, Anda dapat menggunakan contoh ini:

  • AutoScaling

    Contoh ini menggambarkan cara menskalakan Layanan Terkelola untuk aplikasi Apache Flink menggunakan CloudWatch metrik yang berbeda dari aplikasi Apache Flink, termasuk metrik dari Amazon dan Amazon Kinesis MSK Data Streams, yang digunakan sebagai sumber atau sink.

Untuk informasi tambahan, lihat Pemantauan yang ditingkatkan dan penskalaan otomatis untuk Apache Flink.

Menerapkan penskalaan otomatis terjadwal

Jika beban kerja Anda mengikuti profil yang dapat diprediksi dari waktu ke waktu, Anda mungkin lebih suka menskalakan aplikasi Apache Flink Anda terlebih dahulu. Ini menskalakan aplikasi Anda pada waktu yang dijadwalkan, sebagai lawan penskalaan secara reaktif berdasarkan metrik. Untuk mengatur penskalaan naik dan turun pada jam tetap dalam sehari, Anda dapat menggunakan contoh ini: