Menggunakan adaptor DynamoDB Streams Kinesis untuk memproses catatan aliran - Amazon DynamoDB

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan adaptor DynamoDB Streams Kinesis untuk memproses catatan aliran

Menggunakan Adaptor Amazon Kinesis adalah cara yang disarankan untuk menggunakan aliran dari Amazon DynamoDB. API DynamoDB Streams sengaja dibuat serupa dengan Kinesis Data Streams, sebuah layanan untuk pemrosesan data streaming secara real-time dalam skala besar. Di kedua layanan, aliran data terdiri dari pecahan, yang merupakan wadah untuk rekaman aliran. API kedua layanan berisi operasi ListStreams, DescribeStream, GetShards, dan GetShardIterator. (Meskipun tindakan DynamoDB Streams ini serupa dengan tindakan serupa di Kinesis Data Streams, tindakan tersebut tidak 100 persen identik.)

Anda dapat menulis aplikasi untuk Kinesis Data Streams menggunakan Kinesis Client Library (KCL). KCL menyederhanakan pengodean dengan menyediakan abstraksi yang berguna di atas Kinesis Data Streams API tingkat rendah. Untuk informasi selengkapnya tentang KCL, lihat Mengembangkan konsumen menggunakan Kinesis client library dalam Panduan Developer Amazon Kinesis Data Streams.

Sebagai pengguna DynamoDB Streams, Anda dapat menggunakan pola desain yang ditemukan dalam KCL untuk memproses serpihan dan rekaman aliran DynamoDB Streams. Untuk melakukan ini, Anda menggunakan Adaptor DynamoDB Streams Kinesis. Adaptor Kinesis mengimplementasikan antarmuka Kinesis Data Streams sehingga KCL dapat digunakan untuk menggunakan dan memproses catatan dari DynamoDB Streams. Untuk petunjuk tentang cara mengatur dan menginstal Adaptor Kinesis DynamoDB Streams, lihat repositori. GitHub

Diagram berikut menunjukkan bagaimana perpustakaan ini berinteraksi satu sama lain.

Interaksi antara DynamoDB Streams, Kinesis Data Streams, dan KCL untuk memproses rekaman DynamoDB Streams.

Dengan Adaptor Kinesis DynamoDB Streams, Anda dapat mulai mengembangkan antarmuka KCL, dengan panggilan API diarahkan secara mulus ke titik akhir DynamoDB Streams.

Saat aplikasi Anda dimulai, aplikasi akan memanggil KCL untuk membuat instance pekerja. Anda harus memberi pekerja informasi konfigurasi untuk aplikasi, seperti deskriptor aliran dan AWS kredensil, dan nama kelas prosesor rekaman yang Anda berikan. Saat menjalankan kode di pemroses rekaman, pekerja melakukan tugas-tugas berikut:

  • Menghubungkan ke aliran

  • Menghitung pecahan dalam aliran

  • Mengkoordinasikan asosiasi serpihan dengan pekerja lain (jika ada)

  • Membuat instance pemroses rekaman untuk setiap pecahan yang dikelolanya

  • Menarik catatan dari aliran

  • Mendorong rekaman ke pemroses rekaman yang sesuai

  • Catatan yang diproses di pos pemeriksaan

  • Menyeimbangkan asosiasi pekerja pecahan ketika jumlah instans pekerja berubah

  • Menyeimbangkan asosiasi pekerja pecahan saat pecahan dipisahkan

catatan

Untuk deskripsi konsep KCL yang tercantum di sini, lihat Mengembangkan konsumen menggunakan Kinesis client library di Panduan Pengembang Amazon Kinesis Data Streams.

Untuk informasi lebih lanjut tentang menggunakan stream dengan lihat AWS Lambda DynamoDB Streams dan pemicu AWS Lambda