Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Bagian ini menjelaskan konsep inti dan interaksi Kinesis Client Library (KCL). Konsep-konsep ini sangat penting untuk mengembangkan dan mengelola aplikasi konsumen KCL.
-
Aplikasi konsumen KCL — aplikasi yang dibuat khusus yang dirancang untuk membaca dan memproses catatan dari aliran data Kinesis menggunakan Perpustakaan Klien Kinesis.
-
Worker — Aplikasi konsumen KCL biasanya didistribusikan, dengan satu atau lebih pekerja berjalan secara bersamaan. KCL mengkoordinasikan pekerja untuk mengkonsumsi data dari aliran secara terdistribusi dan menyeimbangkan beban secara merata di beberapa pekerja.
-
Scheduler — kelas tingkat tinggi yang digunakan pekerja KCL untuk mulai memproses data. Setiap pekerja KCL memiliki satu penjadwal. Penjadwal menginisialisasi dan mengawasi berbagai tugas, termasuk menyinkronkan informasi pecahan dari aliran data Kinesis, melacak tugas pecahan di antara pekerja, dan memproses data dari aliran berdasarkan pecahan yang ditetapkan ke pekerja. Scheduler dapat mengambil berbagai konfigurasi yang memengaruhi perilaku penjadwal, seperti nama aliran untuk diproses dan kredensyal. AWS Scheduler memulai pengiriman catatan data dari aliran ke prosesor rekaman.
-
Record processor — mendefinisikan logika bagaimana aplikasi konsumen KCL Anda memproses data yang diterimanya dari aliran data. Anda harus menerapkan logika pemrosesan data kustom Anda sendiri di prosesor rekaman. Seorang pekerja KCL membuat instance penjadwal. Penjadwal kemudian membuat instance satu prosesor rekaman untuk setiap pecahan yang disewakan. Seorang pekerja dapat menjalankan beberapa prosesor rekaman.
-
Sewa - mendefinisikan penugasan antara pekerja dan pecahan. Aplikasi konsumen KCL menggunakan sewa untuk mendistribusikan pemrosesan catatan data di beberapa pekerja. Setiap pecahan terikat hanya untuk satu pekerja dengan sewa pada waktu tertentu dan setiap pekerja dapat memegang satu atau lebih sewa secara bersamaan. Ketika seorang pekerja berhenti memegang sewa karena berhenti atau gagal, KCL menugaskan pekerja lain untuk mengambil sewa. Untuk mempelajari lebih lanjut tentang sewa, lihat Dokumentasi Github:
Siklus Hidup Sewa. -
Tabel sewa - adalah tabel Amazon DynamoDB unik yang digunakan untuk melacak semua sewa untuk aplikasi konsumen KCL. Setiap aplikasi konsumen KCL membuat tabel sewa sendiri. Tabel sewa digunakan untuk mempertahankan status di semua pekerja untuk mengoordinasikan pemrosesan data. Untuk informasi selengkapnya, lihat Tabel metadata DynamoDB dan load balancing di KCL.
-
Checkpointing — adalah proses terus-menerus menyimpan posisi catatan terakhir yang berhasil diproses dalam pecahan. KCL mengelola checkpointing untuk memastikan bahwa pemrosesan dapat dilanjutkan dari posisi checkpoint terakhir jika pekerja gagal atau aplikasi restart. Pos pemeriksaan disimpan dalam tabel sewa DynamoDB sebagai bagian dari metadata sewa. Hal ini memungkinkan pekerja untuk melanjutkan pemrosesan dari tempat pekerja sebelumnya berhenti.
