Bagaimana replikasi bekerja

Saat Anda membuat Replicator, MSK Replicator menyebarkan semua sumber daya yang diperlukan di AWS Region cluster target untuk mengoptimalkan latensi replikasi data. MSK Replicator secara otomatis menyalin semua data dari cluster di AWS Region primer yang disebut sumber ke cluster di daerah tujuan yang disebut target. Cluster sumber dan target dapat berada di AWS Wilayah yang sama atau berbeda.

Latensi replikasi bervariasi berdasarkan banyak faktor, termasuk jarak jaringan antara AWS Wilayah kluster MSK Anda, kapasitas throughput kluster sumber dan target Anda, dan jumlah partisi pada cluster sumber dan target Anda. MSK Replicator secara otomatis menskalakan sumber daya yang mendasarinya sehingga Anda dapat mereplikasi data sesuai permintaan tanpa harus memantau atau menskalakan kapasitas.

Secara default, MSK Replicator menyalin semua data secara asinkron dari offset terbaru di partisi topik cluster sumber ke cluster target. Jika pengaturan “Deteksi dan salin topik baru” diaktifkan, MSK Replicator secara otomatis mendeteksi dan menyalin topik atau partisi topik baru ke cluster target. Namun, mungkin diperlukan waktu hingga 30 detik bagi Replicator untuk mendeteksi dan membuat topik baru atau partisi topik pada cluster target. Setiap pesan yang dihasilkan ke topik sumber sebelum topik dibuat di kluster target tidak akan direplikasi. Atau, Anda dapat mengonfigurasi Replicator Anda selama pembuatan untuk memulai replikasi dari offset paling awal jika Anda ingin mereplikasi pesan yang ada.

MSK Replicator tidak menyimpan data Anda. Data dikonsumsi dari cluster sumber Anda, di-buffer dalam memori, dan ditulis ke cluster target. Buffer dihapus secara otomatis ketika data berhasil ditulis atau gagal setelah mencoba ulang. Semua komunikasi dan data antara MSK Replicator dan cluster Anda selalu dienkripsi dalam perjalanan. Semua panggilan MSK Replicator API sepertiDescribeClusterV2,CreateTopic, DescribeTopicDynamicConfiguration ditangkap. AWS CloudTrail

MSK Replicator membuat topik di cluster target dengan Faktor Replikasi 3. Jika perlu, Anda dapat memodifikasi faktor replikasi langsung pada cluster target.