Streaming data jurnal dari Amazon QLDB - Database Buku Besar Amazon Quantum (AmazonQLDB)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Streaming data jurnal dari Amazon QLDB

penting

Pemberitahuan akhir dukungan: Pelanggan yang ada akan dapat menggunakan Amazon QLDB hingga akhir dukungan pada 07/31/2025. Untuk detail selengkapnya, lihat Memigrasi QLDB Buku Besar Amazon ke Amazon Aurora Postgre. SQL

Amazon QLDB menggunakan log transaksional yang tidak dapat diubah, yang dikenal sebagai jurnal, untuk penyimpanan data. Jurnal melacak setiap perubahan pada data komitmen Anda dan mempertahankan riwayat perubahan yang lengkap dan dapat diverifikasi dari waktu ke waktu.

Anda dapat membuat aliran QLDB yang menangkap setiap revisi dokumen yang berkomitmen pada jurnal Anda dan mengirimkan data ini ke Amazon Kinesis Data Streams secara nyaris real time. QLDBAliran adalah aliran data yang berkelanjutan dari jurnal buku besar Anda ke sumber daya aliran data Kinesis.

Kemudian, Anda menggunakan platform streaming Kinesis atau Perpustakaan Klien Kinesis untuk menggunakan aliran Anda, memproses catatan data, dan menganalisis konten data. QLDBAliran menulis data Anda ke Kinesis Data Streams dalam tiga jenis rekaman: kontrol, ringkasan blok, dan detail revisi. Untuk informasi selengkapnya, lihat QLDBcatatan aliran di Kinesis.

Kasus penggunaan umum

Streaming memungkinkan Anda menggunakan QLDB sebagai sumber kebenaran tunggal yang dapat diverifikasi sambil mengintegrasikan data jurnal Anda dengan layanan lain. Berikut ini adalah beberapa kasus penggunaan umum yang didukung oleh aliran QLDB jurnal:

  • Arsitektur berbasis peristiwa — Bangun aplikasi dalam gaya arsitektur berbasis peristiwa dengan komponen terpisah. Misalnya, bank dapat menggunakan AWS Lambda berfungsi untuk menerapkan sistem notifikasi yang memberi tahu pelanggan ketika saldo akun mereka turun di bawah ambang batas. Dalam sistem seperti itu, saldo akun dipertahankan dalam QLDB buku besar, dan setiap perubahan saldo dicatat dalam jurnal. Bagian AWS Lambda fungsi dapat memicu logika notifikasi setelah mengkonsumsi peristiwa pembaruan saldo yang dilakukan ke jurnal dan dikirim ke aliran data Kinesis.

  • Analitik real-time — Membangun aplikasi konsumen Kinesis yang menjalankan analisis real-time pada data peristiwa. Dengan kemampuan ini, Anda dapat memperoleh wawasan dalam waktu nyaris nyata dan merespons dengan cepat terhadap lingkungan bisnis yang berubah. Misalnya, situs web e-niaga dapat menganalisis data penjualan produk dan menghentikan iklan untuk produk diskon segera setelah penjualan mencapai batas.

  • Analisis historis — Manfaatkan arsitektur Amazon yang berorientasi jurnal QLDB dengan memutar ulang data peristiwa historis. Anda dapat memilih untuk memulai QLDB aliran pada setiap titik waktu di masa lalu, di mana semua revisi sejak saat itu dikirim ke Kinesis Data Streams. Dengan menggunakan fitur ini, Anda dapat membangun aplikasi konsumen Kinesis yang menjalankan pekerjaan analitik pada data historis. Misalnya, situs web e-niaga dapat menjalankan analitik sesuai kebutuhan untuk menghasilkan metrik penjualan sebelumnya yang sebelumnya tidak ditangkap.

  • Replikasi ke database yang dibuat khusus — Connect QLDB ledger ke penyimpanan data lain yang dibuat khusus menggunakan stream jurnal. QLDB Misalnya, gunakan platform data streaming Kinesis untuk berintegrasi dengan Amazon OpenSearch Service, yang dapat menyediakan kemampuan pencarian teks lengkap untuk QLDB dokumen. Anda juga dapat membuat aplikasi konsumen Kinesis khusus untuk mereplikasi data jurnal Anda ke database lain yang dibuat khusus yang memberikan tampilan terwujud yang berbeda. Misalnya, replikasi ke Amazon Aurora untuk data relasional atau ke Amazon Neptunus untuk data berbasis grafik.

Mengkonsumsi streaming Anda

Gunakan Kinesis Data Streams untuk terus mengkonsumsi, memproses, dan menganalisis aliran besar catatan data. Selain Kinesis Data Streams, platform data streaming Kinesis mencakup Amazon Data Firehose dan Amazon Managed Service untuk Apache Flink. Anda dapat menggunakan platform ini untuk mengirim catatan data langsung ke layanan seperti Amazon OpenSearch Service, Amazon Redshift, Amazon S3, atau Splunk. Untuk informasi selengkapnya, lihat Konsumen Kinesis Data Streams di Panduan Pengembang Amazon Kinesis Data Streams.

Anda juga dapat menggunakan Kinesis Client Library (KCL) untuk membangun aplikasi konsumen streaming untuk memproses catatan data dengan cara khusus. Ini KCL menyederhanakan pengkodean dengan menyediakan abstraksi yang berguna di atas Kinesis Data Streams tingkat rendah. API Untuk mempelajari selengkapnyaKCL, lihat Menggunakan Perpustakaan Klien Kinesis di Panduan Pengembang Amazon Kinesis Data Streams.

Jaminan pengiriman

QLDBaliran memberikan jaminan at-least-oncepengiriman. Setiap rekaman data yang dihasilkan oleh QLDB aliran dikirim ke Kinesis Data Streams setidaknya sekali. Catatan yang sama dapat muncul dalam aliran data Kinesis beberapa kali. Jadi, Anda harus memiliki logika deduplikasi di lapisan aplikasi konsumen jika kasus penggunaan Anda memerlukannya.

Juga tidak ada jaminan pemesanan. Dalam beberapa keadaan, QLDB blok dan revisi dapat diproduksi dalam aliran data Kinesis rusak. Untuk informasi selengkapnya, lihat Menangani duplikat dan catatan out-of-order.

Pertimbangan latensi pengiriman

QLDBstream biasanya mengirimkan pembaruan ke Kinesis Data Streams dalam waktu nyaris real time. Namun, skenario berikut mungkin membuat latensi tambahan sebelum QLDB data yang baru dikomit dipancarkan ke aliran data Kinesis:

  • Kinesis dapat membatasi data yang dialirkan, tergantung pada penyediaan Kinesis Data Streams Anda. QLDB Misalnya, ini mungkin terjadi jika Anda memiliki beberapa QLDB aliran yang menulis ke satu aliran data Kinesis, dan tingkat permintaan melebihi kapasitas QLDB sumber daya aliran Kinesis. Pelambatan pada Kinesis juga dapat terjadi saat menggunakan penyediaan sesuai permintaan jika throughput tumbuh lebih dari dua kali lipat puncak sebelumnya dalam waktu kurang dari 15 menit.

    Anda dapat mengukur throughput yang terlampaui ini dengan memantau metrik Kinesis. WriteProvisionedThroughputExceeded Untuk informasi selengkapnya dan solusi yang mungkin, lihat Bagaimana cara memecahkan masalah error throttling di Kinesis Data Streams? .

  • Dengan QLDB aliran, Anda dapat membuat aliran tidak terbatas dengan tanggal dan waktu mulai di masa lalu dan tanpa tanggal dan waktu akhir. Secara desain, QLDB mulai memancarkan data yang baru berkomitmen ke Kinesis Data Streams hanya setelah semua data sebelumnya dari tanggal dan waktu mulai yang ditentukan berhasil dikirim. Jika Anda merasakan latensi tambahan dalam skenario ini, Anda mungkin perlu menunggu data sebelumnya dikirimkan, atau Anda dapat memulai streaming dari tanggal dan waktu mulai nanti.

Memulai dengan aliran

Berikut ini adalah ikhtisar tingkat tinggi dari langkah-langkah yang diperlukan untuk memulai streaming data jurnal ke Kinesis Data Streams:

  1. Buat sumber daya Kinesis Data Streams. Untuk petunjuknya, lihat Membuat dan memperbarui aliran data di Panduan Pengembang Amazon Kinesis Data Streams.

  2. Buat IAM peran yang memungkinkan QLDB untuk mengasumsikan izin menulis untuk aliran data Kinesis. Untuk petunjuk, silakan lihat Izin streaming di QLDB.

  3. Buat aliran QLDB jurnal. Untuk petunjuk, silakan lihat Membuat dan mengelola aliran di QLDB.

  4. Konsumsi aliran data Kinesis, seperti yang dijelaskan di bagian sebelumnya. Mengkonsumsi streaming Anda Untuk contoh kode yang menunjukkan cara menggunakan Kinesis Client Library atau AWS Lambda, lihat Berkembang dengan aliran di QLDB.