Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menerapkan penskalaan aplikasi di Managed Service untuk Apache Flink

Anda dapat mengonfigurasi eksekusi tugas secara paralel dan alokasi sumber daya untuk Amazon Managed Service untuk Apache Flink untuk mengimplementasikan penskalaan. Untuk informasi tentang cara Apache Flink menjadwalkan instance paralel tugas, lihat Eksekusi Paralel di Dokumentasi Apache Flink.

Konfigurasikan paralelisme aplikasi dan ParallelismPer KPU

Anda mengonfigurasi eksekusi paralel untuk tugas aplikasi Managed Service for Apache Flink (seperti membaca dari sumber atau mengeksekusi operator) menggunakan properti berikut: ParallelismConfiguration

Untuk informasi tentang menyetel paralelisme tugas untuk operator tertentu, lihat Menyetel Parallelism: Operator di Dokumentasi Apache Flink.

Alokasikan Unit Pengolahan Kinesis

Layanan Terkelola untuk Apache Flink menyediakan kapasitas sebagai. KPUs Single KPU memberi Anda memori 1 v CPU dan 4 GB. Untuk setiap KPU dialokasikan, 50 GB penyimpanan aplikasi yang berjalan juga disediakan.

Managed Service for Apache Flink menghitung KPUs yang diperlukan untuk menjalankan aplikasi Anda menggunakan Parallelism dan ParallelismPerKPU properti, sebagai berikut:

Allocated KPUs for the application = Parallelism/ParallelismPerKPU

Layanan Terkelola untuk Apache Flink dengan cepat memberikan sumber daya aplikasi Anda sebagai respons terhadap lonjakan throughput atau aktivitas pemrosesan. Ini akan menghapus sumber daya dari aplikasi Anda secara bertahap setelah lonjakan aktivitas telah berlalu. Untuk menonaktifkan alokasi otomatis sumber daya, atur nilai AutoScalingEnabled ke false, seperti yang dijelaskan nanti di Perbarui paralelisme aplikasi Anda.

Batas default KPUs untuk aplikasi Anda adalah 64. Untuk petunjuk tentang cara meminta peningkatan batas ini, lihat "Untuk meminta peningkatan batas" di Service Quotas.

Perbarui paralelisme aplikasi Anda

Bagian ini berisi contoh permintaan untuk API tindakan yang menetapkan paralelisme aplikasi. Untuk contoh dan petunjuk selengkapnya tentang cara menggunakan blok permintaan dengan API tindakan, lihatLayanan Terkelola untuk kode contoh Apache Flink API.

Permintaan contoh berikut untuk tindakan CreateApplication mengatur paralelisme saat Anda membuat aplikasi:

{
   "ApplicationName": "string",
   "RuntimeEnvironment":"FLINK-1_18",
   "ServiceExecutionRole":"arn:aws:iam::123456789123:role/myrole",
   "ApplicationConfiguration": { 
      "ApplicationCodeConfiguration":{
      "CodeContent":{
         "S3ContentLocation":{
            "BucketARN":"arn:aws:s3:::amzn-s3-demo-bucket",
            "FileKey":"myflink.jar",
            "ObjectVersion":"AbCdEfGhIjKlMnOpQrStUvWxYz12345"
            }
         },
      "CodeContentType":"ZIPFILE"
   },   
      "FlinkApplicationConfiguration": { 
         "ParallelismConfiguration": { 
            "AutoScalingEnabled": "true",
            "ConfigurationType": "CUSTOM",
            "Parallelism": 4,
            "ParallelismPerKPU": 4
         }
      }
   }
}

Permintaan contoh berikut untuk tindakan UpdateApplication mengatur paralelisme untuk aplikasi yang sudah ada:

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 4,
   "ApplicationConfigurationUpdate": { 
      "FlinkApplicationConfigurationUpdate": { 
         "ParallelismConfigurationUpdate": { 
            "AutoScalingEnabledUpdate": "true",
            "ConfigurationTypeUpdate": "CUSTOM",
            "ParallelismPerKPUUpdate": 4,
            "ParallelismUpdate": 4
         }
      }
   }
}

Permintaan contoh berikut untuk tindakan UpdateApplication menonaktifkan paralelisme untuk aplikasi yang sudah ada:

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 4,
   "ApplicationConfigurationUpdate": { 
      "FlinkApplicationConfigurationUpdate": { 
         "ParallelismConfigurationUpdate": { 
            "AutoScalingEnabledUpdate": "false"
         }
      }
   }
}

maxParallelism pertimbangan

Paralelisme maksimum yang dapat diskalakan oleh pekerjaan Flink dibatasi oleh minimum maxParallelism di semua operator pekerjaan. Misalnya, jika Anda memiliki pekerjaan sederhana dengan hanya sumber dan wastafel, dan sumbernya memiliki maxParallelism 16 dan wastafel memiliki 8, aplikasi tidak dapat skala melampaui paralelisme 8.

Untuk mempelajari bagaimana default maxParallelism operator dihitung dan cara mengganti default, lihat Mengatur Paralelisme Maksimum dalam dokumentasi Apache Flink.

Sebagai aturan dasar, ketahuilah bahwa jika Anda tidak menentukan maxParallelism untuk operator mana pun dan Anda memulai aplikasi Anda dengan paralelisme kurang dari atau sama dengan 128, semua operator akan memiliki maxParallelism 128.