View a markdown version of this page

Bermigrasi dari cluster Apache Kafka non-MSK ke Amazon MSK Provisioned - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bermigrasi dari cluster Apache Kafka non-MSK ke Amazon MSK Provisioned

Anda dapat menggunakan MSK Replicator untuk memigrasikan beban kerja Apache Kafka dari lingkungan yang dikelola sendiri ke cluster Amazon MSK Provisioned. MSK Replicator mendukung migrasi data dari penerapan Kafka (Kafka versi 2.8.1 atau yang lebih baru) yang mengaktifkan otentikasi bersama TLS (MTL) SASL/SCRAM, atau (OAuth). SASL/OAUTHBEARER

catatan

SASL/SCRAM, MTL, atau SASL/OAUTHBEARER otentikasi hanya diperlukan untuk MSK Replicator untuk terhubung ke cluster Kafka yang dikelola sendiri. Aplikasi klien Anda dapat terus menggunakan mekanisme otentikasi yang ada.

Prasyarat

Sebelum memulai, pastikan Anda memiliki yang berikut:

  1. Sumber Apache Kafka cluster menjalankan versi 2.8.1 atau yang lebih baru

  2. SASL/SCRAM, MTL, atau SASL/OAUTHBEARER otentikasi diaktifkan pada cluster sumber

  3. Enkripsi SSL dikonfigurasi pada cluster sumber

  4. Konektivitas jaringan melalui AWS Site-to-Site VPN atau AWS Direct Connect

  5. Subnet VPC dikonfigurasi untuk akses Manajer Rahasia

Untuk petunjuk mendetail, lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 1: Buat cluster yang disediakan Amazon MSK

Buat cluster MSK Provisioned dengan otentikasi IAM diaktifkan. Minimal tiga broker di tiga AZ. Lihat Siapkan cluster target.

Langkah 2: Buat peran eksekusi IAM

Lampirkan kebijakan AWSMSKReplicatorExecutionRole terkelola dan konfigurasikan kebijakan kepercayaan untukkafka.amazonaws.com. Tambahkan izin sebaris untuk AWS Secrets Manager (dan AWS KMS jika rahasia Anda CMK-encrypted) perIzin SER tambahan untuk SASL/SCRAM, MTL SASL/OAUTHBEARER, dan kunci yang dikelola pelanggan. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 3: Konfigurasikan SASL/SCRAM, MTL, atau SASL/OAUTHBEARER, dan SSL pada cluster yang dikelola sendiri

Konfigurasikan otentikasi pada cluster yang dikelola sendiri. Untuk SASL/SCRAM, buat pengguna SCRAM khusus dengan izin ACL yang diperlukan. Untuk MTL, konfigurasikan pendengar SSL dengan otentikasi sertifikat klien. Untuk SASL/OAUTHBEARER, konfigurasikan broker Anda untuk OAUTHBEARER dan daftarkan penyedia identitas (IDP) yang menjual token akses. Konfigurasikan sertifikat SSL. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 4: Simpan kredenSIAL di AWS Manajer Rahasia

Buat rahasia dengan pasangan kunci-nilai yang sesuai untuk jenis otentikasi Anda. Untuk SASL/SCRAM, termasukusername,password, dan certificate bidang. Untuk MTL, sertakan certificate dan privateKey bidang (dan opsional privateKeyPassword untuk kunci pribadi terenkripsi). Untuk SASL/OAUTHBEARER menggunakan mekanisme kredenSIAL klien, sertakan client_id dan client_secret bidang. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 5: Buat Replikator

Gunakan CreateReplicator API dengan posisi EARLIEST awal, replikasi nama topik yang identik, dan synchroniseConsumerGroupOffsets setel ketrue. Prinsip IAM yang dipanggil CreateReplicator harus memiliki izin pemanggil API yang dijelaskan di. Izin IAM diperlukan untuk membuat Replicator MSK Jika Anda berencana untuk mengatur replikasi dua arah untuk kemampuan rollback (Langkah 6), atur consumerGroupOffsetSyncMode juga ENHANCED pada Replikator maju dan mundur. Biarkan sekitar 30 menit agar Replicator mencapai status RUNNING. Lihat CreateReplicator Contoh API untuk cluster Kafka yang dikelola sendiri.

Langkah 6: (Opsional) Siapkan replikasi dua arah

Buat Replikator terbalik dari cluster MSK Provisioned kembali ke cluster yang dikelola sendiri untuk kemampuan rollback. Identifikasi kedua cluster di Replikator terbalik persis seperti yang Anda identifikasi di Replicator maju. Lihat Contoh replikasi dua arah.

Langkah 7: Memantau kemajuan replikasi

Pantau metrik berikut:

  • MessageLag(harus mencapai 0)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(harus 0)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) dan OffsetLag (Non-MSK Cluster)

Untuk informasi selengkapnya, lihat Memantau replikasi.

Langkah 8: Migrasikan aplikasi

Ikuti langkah-langkah berikut untuk memigrasi aplikasi Anda:

  1. Hentikan produsen menulis ke cluster yang dikelola sendiri

  2. Konfigurasikan ulang produsen ke cluster MSK Provisioned dengan otentikasi IAM

  3. Pantau MessageLag hingga mencapai 0

  4. Menghentikan konsumen di cluster yang dikelola sendiri

  5. Mengkonfigurasi ulang konsumen ke cluster MSK Provisioned

Langkah 9: (Opsional) Putar kembali ke cluster yang dikelola sendiri

Jika replikasi dua arah dikonfigurasi, Anda dapat membalikkan langkah-langkah migrasi untuk memutar kembali ke cluster yang dikelola sendiri. Replikator terbalik (MSK Provisioned → External) akan menjaga cluster yang dikelola sendiri tetap sinkron, sehingga konsumen dapat diarahkan kembali tanpa kehilangan data.