Konfigurasi KCL

Mengizinkan penggantian nama tabel yang digunakan untuk tabel sewa Amazon DynamoDB.

Nama aliran tempat aplikasi ini memproses rekaman.

Pengidentifikasi unik yang mewakili instansiasi prosesor aplikasi ini. Ini harus unik.

Jumlah milidetik yang harus lewat sebelum Anda dapat menganggap pemilik sewa telah gagal. Untuk aplikasi yang memiliki sejumlah besar pecahan, ini dapat diatur ke angka yang lebih tinggi untuk mengurangi jumlah IOPS DynamoDB yang diperlukan untuk melacak sewa.

Waktu antara panggilan sinkronisasi pecahan.

Ketika ditetapkan, sewa dihapus segera setelah sewa anak mulai diproses.

Saat disetel, pecahan anak yang memiliki pecahan terbuka diabaikan. Ini terutama untuk Streams DynamoDB.

Jumlah maksimum sewa yang harus diterima seorang pekerja. Mengaturnya terlalu rendah dapat menyebabkan hilangnya data jika pekerja tidak dapat memproses semua pecahan, dan menyebabkan penugasan sewa yang kurang optimal di antara pekerja. Pertimbangkan jumlah pecahan total, jumlah pekerja, dan kapasitas pemrosesan pekerja saat mengonfigurasinya.

Mengontrol ukuran kumpulan thread pembaharui sewa. Semakin banyak sewa yang bisa diambil aplikasi Anda, semakin besar kumpulan ini seharusnya.

Menentukan mode kapasitas tabel sewa yang dibuat di DynamoDB. Ada dua opsi: mode on-demand (PAY_PER_REQUEST) dan mode disediakan. Sebaiknya gunakan pengaturan default mode on-demand karena secara otomatis menskalakan untuk mengakomodasi beban kerja Anda tanpa perlu perencanaan kapasitas.

Posisi awal dalam aliran tempat aplikasi harus dimulai. Ini hanya digunakan selama pembuatan sewa awal.

InitialPositionInStream.TRIM_CAKRAWALA

Nilai persentase yang menentukan kapan algoritma penyeimbangan beban harus mempertimbangkan untuk menetapkan kembali pecahan di antara pekerja.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Nilai persentase yang digunakan untuk meredam jumlah beban yang akan dipindahkan dari pekerja yang kelebihan beban dalam operasi rebalance tunggal.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Menentukan apakah sewa tambahan masih perlu diambil dari pekerja yang kelebihan beban meskipun hal itu menyebabkan jumlah total throughput sewa yang diambil melebihi jumlah throughput yang diinginkan.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Menentukan apakah KCL harus mengabaikan metrik sumber daya dari pekerja (seperti pemanfaatan CPU) saat menetapkan kembali sewa dan penyeimbangan beban. Setel ini ke TRUE jika Anda ingin mencegah KCL dari penyeimbangan beban berdasarkan pemanfaatan CPU.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Jumlah throughput maksimum untuk ditetapkan ke pekerja selama penugasan sewa.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Mengontrol perilaku serah terima sewa antar pekerja. Ketika disetel ke true, KCL akan mencoba mentransfer sewa dengan anggun dengan memberikan waktu yang RecordProcessor cukup bagi pecahan untuk menyelesaikan pemrosesan sebelum menyerahkan sewa kepada pekerja lain. Ini dapat membantu memastikan integritas data dan transisi yang mulus tetapi dapat meningkatkan waktu serah tangan.

Ketika diatur ke false, sewa akan segera diserahkan tanpa menunggu RecordProcessor hingga ditutup dengan anggun. Hal ini dapat menyebabkan serah tangan yang lebih cepat tetapi dapat berisiko pemrosesan yang tidak lengkap.

Catatan: Checkpointing harus diimplementasikan di dalam metode shutdownRequested () RecordProcessor untuk mendapatkan manfaat dari fitur serah terima sewa yang anggun.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Menentukan waktu minimum (dalam milidetik) untuk menunggu pecahan saat ini ditutup dengan anggun sebelum secara paksa mentransfer sewa ke pemilik berikutnya. RecordProcessor

Jika metode processRecords biasanya berjalan lebih lama dari nilai default, pertimbangkan untuk meningkatkan pengaturan ini. Ini memastikan RecordProcessor memiliki waktu yang cukup untuk menyelesaikan prosesnya sebelum transfer sewa terjadi.

Ini adalah konfigurasi baru yang diperkenalkan di KCL 3.x.

Memungkinkan pengaturan jumlah maksimum rekaman yang dikembalikan Kinesis.

Mengkonfigurasi penundaan antara GetRecords upaya untuk kegagalan.

Ukuran kumpulan utas yang digunakan untuk GetRecords.

Menentukan berapa lama KCL menunggu di antara GetRecords panggilan untuk melakukan polling data dari aliran data. Satuannya adalah milidetik.

Ketika diatur, prosesor rekaman dipanggil bahkan ketika tidak ada catatan yang disediakan dari Kinesis.

Seberapa sering prosesor rekaman harus melakukan polling untuk melihat apakah pecahan induk telah selesai. Satuannya adalah milidetik.

Nonaktifkan sinkronisasi data pecahan jika tabel sewa berisi sewa yang ada.

SALAH

Prioritas pecahan mana yang akan digunakan.

NoOpShardPrioritization

Menentukan mode kompatibilitas versi KCL mana yang akan dijalankan aplikasi. Konfigurasi ini hanya untuk migrasi dari versi KCL sebelumnya. Saat bermigrasi ke 3.x, Anda perlu mengatur konfigurasi ini ke. CLIENT_VERSION_CONFIG_COMPATIBLE_WITH_2X Anda dapat menghapus konfigurasi ini setelah menyelesaikan migrasi.

Waktu menunggu untuk mencoba lagi tugas KCL yang gagal. Satuannya adalah milidetik.

Berapa lama menunggu sebelum peringatan dicatat jika tugas belum selesai.

Menentukan durasi maksimum (dalam milidetik) untuk menyangga metrik sebelum menerbitkannya ke. CloudWatch

Menentukan jumlah maksimum metrik yang akan disangga sebelum dipublikasikan ke CloudWatch.

Menentukan tingkat perincian CloudWatch metrik yang akan diaktifkan dan dipublikasikan.

Nilai yang mungkin: TIDAK ADA, RINGKASAN, DETAIL.

MetricsLevel.DETAILED

Kontrol dimensi yang diizinkan untuk CloudWatch Metrik.

Jumlah maksimum sewa yang harus dicuri oleh aplikasi pada satu waktu. KCL 3.x akan mengabaikan konfigurasi ini dan menetapkan kembali sewa berdasarkan pemanfaatan sumber daya pekerja.

Mengontrol apakah pekerja harus memprioritaskan mengambil sewa yang sangat kedaluwarsa (sewa tidak diperpanjang untuk 3x waktu failover) dan sewa shard baru, terlepas dari jumlah target sewa tetapi tetap menghormati batas sewa maksimum. KCL 3.x akan mengabaikan konfigurasi ini dan selalu menyebarkan sewa yang kedaluwarsa di seluruh pekerja.