Praktik terbaik untuk menggunakan MSK Replicator - Amazon Managed Streaming untuk Apache Kafka
Mengelola throughput MSK Replicator menggunakan kuota KafkaMengatur periode retensi cluster

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Praktik terbaik untuk menggunakan MSK Replicator

Bagian ini mencakup praktik terbaik umum dan strategi implementasi untuk menggunakan Amazon MSK Replicator.

Mengelola throughput MSK Replicator menggunakan kuota Kafka

Karena MSK Replicator bertindak sebagai konsumen untuk cluster sumber Anda, replikasi dapat menyebabkan konsumen lain terhambat pada cluster sumber Anda. Jumlah throttling tergantung pada kapasitas baca yang Anda miliki di cluster sumber Anda dan throughput data yang Anda replikasi. Kami menyarankan agar penyediaan Anda memiliki kapasitas yang sama untuk cluster sumber dan target Anda, dan memperhitungkan throughput replikasi saat menghitung berapa banyak kapasitas yang Anda butuhkan.

Anda juga dapat mengatur kuota Kafka untuk Replicator pada cluster sumber dan target Anda untuk mengontrol berapa banyak kapasitas yang dapat digunakan Replicator. MSK Direkomendasikan kuota bandwidth jaringan. Kuota bandwidth jaringan mendefinisikan ambang batas byte, didefinisikan sebagai byte per detik, untuk satu atau lebih klien yang berbagi kuota. Kuota ini didefinisikan berdasarkan per-broker.

Ikuti langkah-langkah berikut untuk menerapkan kuota.

  1. Ambil string server bootstrap untuk cluster sumber. Lihat Dapatkan broker bootstrap untuk MSK cluster Amazon.

  2. Ambil peran eksekusi layanan (SER) yang digunakan oleh MSK Replicator. Ini adalah yang SER Anda gunakan untuk CreateReplicator permintaan. Anda juga dapat menarik dari DescribeReplicator respons SER dari Replicator yang ada.

  3. Menggunakan CLI alat Kafka, jalankan perintah berikut terhadap cluster sumber.

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> --alter --add-config 'consumer_byte_
rate=<quota_in_bytes_per_second>' --entity-type users --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> --command-config <client-properties-for-iam-auth></programlisting>

  4. Setelah menjalankan perintah di atas, verifikasi bahwa ReplicatorThroughput metrik tidak melewati kuota yang telah Anda tetapkan.

Perhatikan bahwa jika Anda menggunakan kembali peran eksekusi layanan di antara beberapa MSK Replikator, semuanya tunduk pada kuota ini. Jika Anda ingin mempertahankan kuota terpisah per Replicator, gunakan peran eksekusi layanan terpisah.

Untuk informasi selengkapnya tentang penggunaan MSK IAM otentikasi dengan kuota, lihat Kluster Apache Kafka multi-tenancy di Amazon MSK dengan kontrol IAM akses dan Kafka Quota — Bagian 1.

Awas

Menyetel consumer_byte_rate yang sangat rendah dapat menyebabkan MSK Replicator Anda bertindak dengan cara yang tidak terduga.

Mengatur periode retensi cluster

Anda dapat mengatur periode retensi log untuk klaster yang MSK disediakan dan tanpa server. Periode retensi yang disarankan adalah 7 hari. Lihat Perubahan konfigurasi cluster atau Konfigurasi klaster MSK Tanpa Server yang didukung.