Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Apa itu Amazon MSK Replicator?
Amazon MSK Replicator adalah fitur MSK Amazon yang memungkinkan Anda mereplikasi data dengan andal di seluruh kluster MSK Amazon secara berbeda atau sama. Wilayah AWS Namun, baik cluster sumber dan target harus sama Akun AWS. Dengan MSK Replicator, Anda dapat dengan mudah membangun aplikasi streaming yang tangguh secara regional untuk meningkatkan ketersediaan dan kelangsungan bisnis. MSK Replicator menyediakan replikasi asinkron otomatis di seluruh kluster MSK, menghilangkan kebutuhan untuk menulis kode khusus, mengelola infrastruktur, atau mengatur jaringan lintas wilayah.
MSK Replicator secara otomatis menskalakan sumber daya yang mendasarinya sehingga Anda dapat mereplikasi data sesuai permintaan tanpa harus memantau atau menskalakan kapasitas. MSK Replicator juga mereplikasi metadata Kafka yang diperlukan termasuk konfigurasi topik, Daftar Kontrol Akses ()ACLs, dan offset grup konsumen. Jika peristiwa tak terduga terjadi di suatu wilayah, Anda dapat melakukan failover ke AWS wilayah lain dan melanjutkan pemrosesan dengan mulus.
MSK Replicator mendukung replikasi lintas wilayah (CRR) dan replikasi wilayah yang sama (SRR). Dalam replikasi lintas wilayah, kluster MSK sumber dan target berada di Wilayah yang berbeda. AWS Dalam replikasi wilayah yang sama, baik kluster MSK sumber maupun target berada di Wilayah yang sama. AWS Anda perlu membuat sumber dan target kluster MSK sebelum menggunakannya dengan MSK Replicator.
**catatan**
MSK Replicator mendukung AWS Wilayah berikut: AS Timur (us-east-1, Virginia N.); AS Timur (us-east-2, Ohio); AS Barat (us-west-2, Oregon); Eropa (eu-west-1, Irlandia); Eropa (eu-west-1, Irlandia); Eropa (eu-central-1, Frankfurt); Asia Pasifik (ap-southeast-1, Singapura); Asia Pasifik (ap-southeast-2, Sydney); Eropa (eu-north-1, Stockholm); Asia Pasifik (ap-southeast-1, Mumbai); Eropa (eu-west-3, Paris); Amerika Selatan (sa-timur-1, Mumbai); Eropa (eu-west-3, Paris); Amerika Selatan (sa-timur-sa-east-1, Sao Paulo); Asia Pasifik (ap-northeast-2, Seoul); Eropa (eu-west-2, London); Asia Pasifik (ap-northeast-1, Tokyo); AS Barat (us-west-1, California); Kanada (ca-central-1, Tengah); Tiongkok (Beijing) (cn-utara-1); Tiongkok (Ningxia) (cn-barat laut-1); Asia Pasifik (Hyderabad) (ap-south-2), Asia Pasifik (Malaysia) (ap-tenggara 5), Asia Pasifik (Thailand) (ap-tenggara- 7), Meksiko Meksiko (Tengah) (mx-tengah-1), Asia Pasifik (Taipei) (ap-timur-2), Kanada Barat (Calgary) (ca-west-1), Eropa (Spanyol) (eu-selatan-2), Timur Tengah (Bahrain) (me-south-1), Asia Pasifik (Jakarta) (Jakarta) ap-southeast-3), Afrika (Cape Town) (af-south-1), Timur Tengah (UEA) (me-central-1), Asia Pasifik (Hong Kong) (ap-east-1), Asia Pasifik (ap-east-1), Asia Pasifik (Osaka) (ap-northeast-3), Asia Pasifik (Melbourne) (ap-southeast-4), Eropa (Milan) (eu-south-1), Israel (Tel Aviv) (il-central-1), Eropa (Zurich) (eu-central-2) dan Asia Pasifik (Selandia Baru) (ap-tenggara - 6)
Berikut adalah beberapa kegunaan umum untuk Amazon MSK Replicator.
+ Bangun aplikasi streaming multi-wilayah: Bangun aplikasi streaming yang sangat tersedia dan toleran terhadap kesalahan untuk meningkatkan ketahanan tanpa menyiapkan solusi khusus.
+ Akses data latensi yang lebih rendah: Menyediakan akses data latensi yang lebih rendah ke konsumen di berbagai wilayah geografis.
+ Mendistribusikan data ke mitra Anda: Salin data dari satu cluster Apache Kafka ke banyak cluster Apache Kafka, sehingga berbeda teams/partners memiliki salinan data mereka sendiri.
+ Data agregat untuk analitik: Salin data dari beberapa cluster Apache Kafka ke dalam satu cluster untuk menghasilkan wawasan tentang data real-time agregat dengan mudah.
+ Tulis secara lokal, akses data Anda secara global: Siapkan replikasi multi-aktif untuk secara otomatis menyebarkan penulisan yang dilakukan di satu AWS Wilayah ke Wilayah lain untuk menyediakan data dengan latensi dan biaya lebih rendah.
# Bagaimana Amazon MSK Replicator bekerja
Untuk memulai dengan MSK Replicator, Anda perlu membuat Replicator baru di Region cluster target Anda. AWS *MSK Replicator secara otomatis menyalin semua data dari cluster di AWS Wilayah utama yang disebut *sumber* ke cluster di wilayah tujuan yang disebut target.* Cluster sumber dan target dapat berada di AWS Wilayah yang sama atau berbeda. Anda perlu membuat cluster target jika belum ada.
Saat Anda membuat Replicator, MSK Replicator menyebarkan semua sumber daya yang diperlukan di AWS Region cluster target untuk mengoptimalkan latensi replikasi data. Latensi replikasi bervariasi berdasarkan banyak faktor, termasuk jarak jaringan antara AWS Wilayah kluster MSK Anda, kapasitas throughput kluster sumber dan target Anda, dan jumlah partisi pada cluster sumber dan target Anda. MSK Replicator secara otomatis menskalakan sumber daya yang mendasarinya sehingga Anda dapat mereplikasi data sesuai permintaan tanpa harus memantau atau menskalakan kapasitas.
## Replikasi data
Secara default, MSK Replicator menyalin semua data secara asinkron dari offset terbaru di partisi topik cluster sumber ke cluster target. Jika pengaturan “Deteksi dan salin topik baru” diaktifkan, MSK Replicator secara otomatis mendeteksi dan menyalin topik atau partisi topik baru ke cluster target. Namun, mungkin diperlukan waktu hingga 30 detik bagi Replicator untuk mendeteksi dan membuat topik baru atau partisi topik pada cluster target. Setiap pesan yang dihasilkan ke topik sumber sebelum topik dibuat di kluster target tidak akan direplikasi. Atau, Anda dapat [mengonfigurasi Replicator selama pembuatan](msk-replicator-prepare-cluster.md) untuk memulai replikasi dari offset paling awal di partisi topik cluster sumber jika Anda ingin mereplikasi pesan yang ada pada topik Anda ke kluster target.
MSK Replicator tidak menyimpan data Anda. Data dikonsumsi dari cluster sumber Anda, di-buffer dalam memori dan ditulis ke cluster target. Buffer dihapus secara otomatis ketika data berhasil ditulis atau gagal setelah mencoba ulang. Semua komunikasi dan data antara MSK Replicator dan cluster Anda selalu dienkripsi dalam perjalanan. Semua panggilan MSK Replicator API seperti`DescribeClusterV2`,`CreateTopic`, `DescribeTopicDynamicConfiguration` ditangkap. AWS CloudTrail Log broker MSK Anda juga akan mencerminkan hal yang sama.
MSK Replicator membuat topik di cluster target dengan Faktor Replikator 3. Jika perlu, Anda dapat memodifikasi faktor replikasi langsung pada cluster target.
## Replikasi metadata
MSK Replicator juga mendukung penyalinan metadata dari cluster sumber ke cluster target. Metadata mencakup konfigurasi topik, Access Control Lists (ACLs), dan offset grup konsumen. Seperti replikasi data, replikasi metadata juga terjadi secara asinkron. Untuk kinerja yang lebih baik, MSK Replicator memprioritaskan replikasi data daripada replikasi metadata.
Tabel berikut adalah daftar Daftar Kontrol Akses (ACLs) yang salinan MSK Replicator.
| Operasi | Penelitian | APIs diizinkan |
| --- | --- | --- |
| Mengubah | Topik | CreatePartitions |
| AlterConfigs | Topik | AlterConfigs |
| Buat | Topik | CreateTopics, Metadata |
| Delete | Topik | DeleteRecords, DeleteTopics |
| Jelaskan | Topik | ListOffsets, Metadata,, OffsetFetch OffsetForLeaderEpoch |
| DescribeConfigs | Topik | DescribeConfigs |
| Baca | Topik | Ambil,, OffsetCommit TxnOffsetCommit |
| Tulis (hanya menyangkal) | Topik | Menghasilkan, AddPartitionsToTxn |
MSK Replicator menyalin jenis pola LITERAL ACLs hanya untuk jenis sumber daya Topik. Jenis pola PREFIXED ACLs dan jenis sumber daya lainnya tidak ACLs disalin. MSK Replicator juga tidak menghapus ACLs pada cluster target. Jika Anda menghapus ACL pada cluster sumber, Anda juga harus menghapus pada cluster target pada saat yang sama. Untuk detail lebih lanjut tentang ACLs sumber daya, pola, dan operasi Kafka, lihat [https://kafka.apache.org/documentation/\$1security\$1authz\$1cli.](https://kafka.apache.org/documentation/#security_authz_cli)
MSK Replicator hanya mereplikasi Kafka ACLs, yang tidak digunakan kontrol akses IAM. Jika klien Anda menggunakan kontrol akses IAM read/write ke kluster MSK Anda, Anda perlu mengonfigurasi kebijakan IAM yang relevan pada kluster target Anda juga untuk failover yang mulus. Ini juga berlaku untuk konfigurasi replikasi nama topik Awalan dan Identik.
Sebagai bagian dari sinkronisasi offset grup konsumen, MSK Replicator mengoptimalkan untuk konsumen Anda di cluster sumber yang membaca dari posisi yang lebih dekat ke ujung aliran (akhir partisi topik). Jika grup konsumen Anda tertinggal di cluster sumber, Anda mungkin melihat lag yang lebih tinggi untuk kelompok konsumen pada target dibandingkan dengan sumbernya. Ini berarti setelah failover ke cluster target, konsumen Anda akan memproses ulang lebih banyak pesan duplikat. Untuk mengurangi lag ini, konsumen Anda di cluster sumber perlu mengejar ketinggalan dan mulai mengkonsumsi dari ujung aliran (akhir partisi topik). Saat konsumen Anda mengejar ketinggalan, MSK Replicator akan secara otomatis mengurangi lag.
![\[Sumber MSK Replicator dan kluster target\]](http://docs.aws.amazon.com/id_id/msk/latest/developerguide/images/msk-replicator-diagram.png)
## Konfigurasi nama topik
MSK Replicator memiliki dua mode konfigurasi nama topik: *Prefixed* (default) atau replikasi nama topik *identik*.
**Replikasi nama topik awalan**
Secara default, MSK Replicator membuat topik baru di cluster target dengan awalan yang dibuat otomatis ditambahkan ke nama topik cluster sumber, seperti. `.topic` Ini untuk membedakan topik yang direplikasi dari yang lain di cluster target dan untuk menghindari replikasi melingkar data antar cluster.
Misalnya, MSK Replicator mereplikasi data dalam topik bernama “topic” dari cluster sumber ke topik baru di cluster target yang disebut < alias>.topic. sourceKafkaCluster Anda dapat menemukan awalan yang akan ditambahkan ke nama topik di kluster target di bawah bidang **sourceKafkaClusterAlias** menggunakan `DescribeReplicator` API atau halaman detail **Replicator** di konsol MSK. Awalan di cluster target adalah < sourceKafkaCluster Alias>.
Untuk memastikan konsumen Anda dapat memulai ulang pemrosesan dengan andal dari klaster siaga, Anda perlu mengonfigurasi konsumen Anda untuk membaca data dari topik menggunakan operator wildcard. `.*` Misalnya, konsumen Anda perlu mengkonsumsi menggunakan. `*topic1`di kedua AWS wilayah tersebut. Contoh ini juga akan mencakup topik seperti`footopic1`, jadi sesuaikan operator wildcard sesuai dengan kebutuhan Anda.
Anda harus menggunakan MSK Replicator yang menambahkan awalan ketika Anda ingin menyimpan data replikator dalam topik terpisah di cluster target, seperti untuk pengaturan cluster aktif-aktif.
**Replikasi nama topik yang identik**
Sebagai alternatif dari pengaturan default, Amazon MSK Replicator memungkinkan Anda membuat Replicator dengan replikasi topik yang disetel ke replikasi nama topik identik (**Simpan nama topik yang sama di konsol**). Anda dapat membuat Replicator baru di AWS Wilayah yang memiliki kluster MSK target Anda. Topik yang direplikasi dengan nama identik memungkinkan Anda menghindari konfigurasi ulang klien untuk membaca dari topik yang direplikasi.
Replikasi nama topik yang identik (**Simpan nama topik yang sama** di konsol) memiliki keuntungan sebagai berikut:
+ Memungkinkan Anda mempertahankan nama topik yang identik selama proses replikasi, sementara juga secara otomatis menghindari risiko loop replikasi tak terbatas.
+ Membuat pengaturan dan pengoperasian arsitektur streaming multi-cluster lebih sederhana, karena Anda dapat menghindari konfigurasi ulang klien untuk membaca dari topik yang direplikasi.
+ Untuk arsitektur cluster aktif-pasif, fungsi replikasi nama topik identik juga menyederhanakan proses failover, memungkinkan aplikasi untuk failover mulus ke cluster siaga tanpa memerlukan perubahan nama topik atau konfigurasi ulang klien.
+ Dapat digunakan untuk lebih mudah mengkonsolidasikan data dari beberapa kluster MSK ke dalam satu cluster untuk agregasi data atau analitik terpusat. Ini mengharuskan Anda untuk membuat Replikator terpisah untuk setiap cluster sumber dan cluster target yang sama.
+ Dapat merampingkan migrasi data dari satu kluster MSK ke cluster MSK lainnya dengan mereplikasi data ke topik bernama identik di cluster target.
Amazon MSK Replicator menggunakan header Kafka untuk secara otomatis menghindari data direplikasi kembali ke topik asalnya, menghilangkan risiko siklus tak terbatas selama replikasi. Header adalah pasangan kunci-nilai yang dapat disertakan dengan kunci, nilai, dan stempel waktu di setiap pesan Kafka. MSK Replicator menyematkan pengidentifikasi untuk cluster sumber dan topik ke dalam header setiap catatan yang direplikasi. MSK Replicator menggunakan informasi header untuk menghindari loop replikasi tak terbatas. Anda harus memverifikasi bahwa klien Anda dapat membaca data yang direplikasi seperti yang diharapkan.
# Tutorial: Siapkan cluster sumber dan target untuk Amazon MSK Replicator
Tutorial ini menunjukkan kepada Anda cara mengatur cluster sumber dan cluster target di Wilayah yang sama atau di AWS AWS Wilayah yang berbeda. Anda kemudian menggunakan cluster tersebut untuk membuat Amazon MSK Replicator.
# Siapkan kluster sumber MSK Amazon
Jika Anda sudah memiliki cluster sumber MSK yang dibuat untuk MSK Replicator, pastikan bahwa itu memenuhi persyaratan yang dijelaskan di bagian ini. Jika tidak, ikuti langkah-langkah ini untuk membuat kluster sumber yang disediakan MSK atau tanpa server.
Proses untuk membuat cluster sumber MSK Replicator lintas wilayah dan wilayah yang sama serupa. Perbedaan disebut dalam prosedur berikut.
1. Buat kluster MSK yang disediakan atau tanpa server dengan [kontrol akses IAM diaktifkan](create-iam-access-control-cluster-in-console.md) di wilayah sumber. Cluster sumber Anda harus memiliki minimal tiga broker.
1. Untuk Replikator MSK lintas wilayah, jika sumbernya adalah kluster yang disediakan, konfigurasikan dengan konektivitas pribadi multi-VPC yang diaktifkan untuk skema kontrol akses IAM. Perhatikan bahwa jenis autentikasi yang tidak diautentikasi tidak didukung saat multi-VPC dihidupkan. Anda tidak perlu mengaktifkan konektivitas pribadi multi-VPC untuk skema otentikasi lainnya (skema MTL atau SASL/SCRAM). You can simultaneously use mTLS or SASL/SCRAM autentikasi untuk klien Anda yang lain yang terhubung ke kluster MSK Anda. Anda dapat mengonfigurasi konektivitas pribadi multi-VPC di detail cluster konsol **Pengaturan jaringan** atau dengan API. `UpdateConnectivity` Lihat [Pemilik cluster mengaktifkan Multi-VPC](mvpc-cluster-owner-action-turn-on.md). Jika cluster sumber Anda adalah kluster MSK Serverlesss, Anda tidak perlu mengaktifkan konektivitas pribadi multi-VPC.
Untuk Replikator MSK wilayah yang sama, kluster sumber MSK tidak memerlukan konektivitas pribadi multi-VPC dan cluster masih dapat diakses oleh klien lain menggunakan jenis autentikasi yang tidak diautentikasi.
1. Untuk Replikator MSK lintas wilayah, Anda harus melampirkan kebijakan izin berbasis sumber daya ke kluster sumber. Hal ini memungkinkan MSK untuk terhubung ke cluster ini untuk mereplikasi data. Anda dapat melakukan ini menggunakan prosedur CLI atau AWS Konsol di bawah ini. Lihat juga, kebijakan [berbasis sumber daya Amazon MSK](security_iam_service-with-iam.md). Anda tidak perlu melakukan langkah ini untuk Replikator MSK wilayah yang sama.
------
#### [ Console: create resource policy ]
Perbarui kebijakan cluster sumber dengan JSON berikut. Ganti placeholder dengan ARN dari cluster sumber Anda.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"kafka.amazonaws.com"
]
},
"Action": [
"kafka:CreateVpcConnection",
"kafka:GetBootstrapBrokers",
"kafka:DescribeClusterV2"
],
"Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ab-cdef-1234567890ab-1"
}
]
}
```
Gunakan opsi **Edit kebijakan klaster** di bawah menu **Tindakan** pada halaman detail klaster.
![\[Edit kebijakan klaster di konsol\]](http://docs.aws.amazon.com/id_id/msk/latest/developerguide/images/edit-cluster-policy.png)
------
#### [ CLI: create resource policy ]
Catatan: Jika Anda menggunakan AWS konsol untuk membuat kluster sumber dan memilih opsi untuk membuat peran IAM baru, AWS lampirkan kebijakan kepercayaan yang diperlukan ke peran tersebut. Jika Anda ingin MSK menggunakan peran IAM yang ada atau jika Anda membuat peran sendiri, lampirkan kebijakan kepercayaan berikut ke peran tersebut sehingga MSK Replicator dapat mengambilnya. Untuk informasi tentang cara mengubah hubungan kepercayaan suatu peran, lihat [Mengubah Peran](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_manage_modify.html).
1. Dapatkan versi kebijakan cluster MSK saat ini menggunakan perintah ini. Ganti placeholder dengan ARN cluster yang sebenarnya.
```
aws kafka get-cluster-policy —cluster-arn
{
"CurrentVersion": "K1PA6795UKM GR7",
"Policy": "..."
}
```
1. Buat kebijakan berbasis sumber daya untuk memungkinkan MSK Replicator mengakses kluster sumber Anda. Gunakan sintaks berikut sebagai template, menggantikan placeholder dengan ARN cluster sumber yang sebenarnya.
```
aws kafka put-cluster-policy --cluster-arn "" --policy '{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"kafka.amazonaws.com"
]
},
"Action": [
"kafka:CreateVpcConnection",
"kafka:GetBootstrapBrokers",
"kafka:DescribeClusterV2"
],
"Resource": ""
}
]
```
------
# Siapkan kluster target MSK Amazon
Buat kluster target MSK (disediakan atau tanpa server) dengan kontrol akses IAM diaktifkan. Cluster target tidak memerlukan konektivitas pribadi multi-VPC dihidupkan. Cluster target dapat berada di AWS Wilayah yang sama atau Wilayah yang berbeda sebagai cluster sumber. Cluster sumber dan target harus berada di AWS akun yang sama. Cluster target Anda harus memiliki minimal tiga broker.
# Tutorial: Membuat Replikator MSK Amazon
Setelah menyiapkan cluster sumber dan target, Anda dapat menggunakan cluster tersebut untuk membuat Replikator MSK Amazon. Sebelum Anda membuat Amazon MSK Replicator, pastikan Anda memilikinya. [Izin IAM diperlukan untuk membuat Replikator MSK](msk-replicator-requirements.md#replicator-role-permissions-successful)
**Contents**
+ [
# Pertimbangan untuk membuat Replikator MSK Amazon
](msk-replicator-requirements.md)
+ [
## Izin IAM diperlukan untuk membuat Replikator MSK
](msk-replicator-requirements.md#replicator-role-permissions-successful)
+ [
# Jenis dan versi cluster yang didukung untuk MSK Replicator
](msk-replicator-supported-clusters-versions.md)
+ [
# Konfigurasi kluster MSK Tanpa Server yang didukung
](msk-replicator-serverless-requirements.md)
+ [
## Perubahan konfigurasi cluster
](msk-replicator-serverless-requirements.md#msk-replicator-config-changes)
+ [
# Buat replikator menggunakan AWS konsol di wilayah cluster target
](msk-replicator-create-console.md)
+ [
## Pilih cluster sumber Anda
](msk-replicator-create-console.md#msk-replicator-create-console-choose-source)
+ [
## Pilih klaster target Anda
](msk-replicator-create-console.md#msk-replicator-create-console-choose-target)
+ [
## Konfigurasikan pengaturan dan izin replikator
](msk-replicator-create-console.md#msk-replicator-create-settings)
# Pertimbangan untuk membuat Replikator MSK Amazon
Bagian berikut memberikan gambaran umum tentang prasyarat, konfigurasi yang didukung, dan praktik terbaik untuk menggunakan fitur MSK Replicator. Ini mencakup izin yang diperlukan, kompatibilitas cluster, dan persyaratan khusus Tanpa Server, serta panduan mengelola Replicator setelah pembuatan.
## Izin IAM diperlukan untuk membuat Replikator MSK
Berikut adalah contoh kebijakan IAM yang diperlukan untuk membuat Replikator MSK. Tindakan `kafka:TagResource` ini hanya diperlukan jika tag disediakan saat membuat Replikator MSK. Kebijakan IAM replikator harus dilampirkan ke peran IAM yang sesuai dengan klien Anda. Untuk informasi tentang membuat kebijakan otorisasi, lihat [Membuat kebijakan otorisasi](https://docs.aws.amazon.com/msk/latest/developerguide/iam-access-control.html#create-iam-access-control-policies).
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "MSKReplicatorIAMPassRole",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::123456789012:role/MSKReplicationRole",
"Condition": {
"StringEquals": {
"iam:PassedToService": "kafka.amazonaws.com"
}
}
},
{
"Sid": "MSKReplicatorServiceLinkedRole",
"Effect": "Allow",
"Action": "iam:CreateServiceLinkedRole",
"Resource": "arn:aws:iam::123456789012:role/aws-service-role/kafka.amazonaws.com/AWSServiceRoleForKafka*"
},
{
"Sid": "MSKReplicatorEC2Actions",
"Effect": "Allow",
"Action": [
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups",
"ec2:DescribeVpcs",
"ec2:CreateNetworkInterface"
],
"Resource": [
"arn:aws:ec2:us-east-1:123456789012:subnet/subnet-0abcd1234ef56789",
"arn:aws:ec2:us-east-1:123456789012:security-group/sg-0123abcd4567ef89",
"arn:aws:ec2:us-east-1:123456789012:network-interface/eni-0a1b2c3d4e5f67890",
"arn:aws:ec2:us-east-1:123456789012:vpc/vpc-0a1b2c3d4e5f67890"
]
},
{
"Sid": "MSKReplicatorActions",
"Effect": "Allow",
"Action": [
"kafka:CreateReplicator",
"kafka:TagResource"
],
"Resource": [
"arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-56ef-78gh-90ij-klmnopqrstuv",
"arn:aws:kafka:us-east-1:123456789012:replicator/myReplicator/wxyz9876-54vu-32ts-10rq-ponmlkjihgfe"
]
}
]
}
```
------
Berikut ini adalah contoh kebijakan IAM untuk menggambarkan replikator. Entah `kafka:DescribeReplicator` tindakan atau `kafka:ListTagsForResource` tindakan diperlukan, bukan keduanya.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": [
"kafka:DescribeReplicator",
"kafka:ListTagsForResource"
],
"Resource": "*"
}
]
}
```
------
# Jenis dan versi cluster yang didukung untuk MSK Replicator
Ini adalah persyaratan untuk jenis instans yang didukung, versi Kafka, dan konfigurasi jaringan.
+ MSK Replicator mendukung kluster yang disediakan MSK dan kluster MSK Tanpa Server dalam kombinasi apa pun sebagai cluster sumber dan target. Jenis cluster Kafka lainnya tidak didukung saat ini oleh MSK Replicator.
+ MSK Kluster tanpa server memerlukan kontrol akses IAM, tidak mendukung replikasi Apache Kafka ACL dan dengan dukungan terbatas replikasi konfigurasi pada topik. Lihat [Apa itu MSK Tanpa Server?](serverless.md).
+ MSK Replicator hanya didukung pada cluster yang menjalankan Apache Kafka 2.7.0 atau lebih tinggi, terlepas dari apakah sumber dan kluster target Anda sama atau berbeda. Wilayah AWS
+ MSK Replicator mendukung cluster menggunakan tipe instance m5.large atau lebih besar. t3.small cluster tidak didukung.
+ Jika Anda menggunakan MSK Replicator dengan kluster MSK Provisioned, Anda memerlukan minimal tiga broker di cluster sumber dan target. Anda dapat mereplikasi data di seluruh cluster di dua Availability Zone, tetapi Anda akan membutuhkan minimal empat broker di cluster tersebut.
+ Kluster MSK sumber dan target Anda harus berada di akun yang sama AWS . Replikasi di seluruh cluster di akun yang berbeda tidak didukung.
+ Jika cluster MSK sumber dan target berada di Wilayah yang berbeda (lintas AWS wilayah), MSK Replicator mengharuskan cluster sumber untuk mengaktifkan konektivitas pribadi multi-VPC untuk metode Kontrol Akses IAM-nya.
Multi-VPC tidak diperlukan untuk metode otentikasi lain pada cluster sumber untuk replikasi MSK di seluruh. Wilayah AWS
Multi-VPC juga tidak diperlukan jika Anda mereplikasi data antar cluster dalam hal yang sama. Wilayah AWS Lihat [Konektivitas privat multi-vpc Amazon MSK di satu wilayah](aws-access-mult-vpc.md).
+ Replikasi nama topik yang identik (**Simpan nama topik yang sama** di konsol) memerlukan kluster MSK yang menjalankan Kafka versi 2.8.1 atau lebih tinggi.
+ Untuk konfigurasi replikasi nama topik identik (**Simpan nama topik yang sama** di konsol), untuk menghindari risiko replikasi siklik, jangan membuat perubahan pada header yang dibuat oleh MSK Replicator (). `__mskmr`
# Konfigurasi kluster MSK Tanpa Server yang didukung
+ MSK Tanpa Server mendukung replikasi konfigurasi topik ini untuk kluster target MSK Tanpa Server selama pembuatan topik:,,,. `cleanup.policy` `compression.type` `max.message.bytes` `retention.bytes` `retention.ms`
+ MSK Tanpa Server hanya mendukung konfigurasi topik ini selama sinkronisasi konfigurasi topik:`compression.type`,,,. `max.message.bytes` `retention.bytes` `retention.ms`
+ Replicator menggunakan 83 partisi yang dipadatkan pada kluster MSK Serverless target. Pastikan bahwa target MSK Serverless cluster memiliki jumlah partisi yang dipadatkan yang cukup. Lihat [MSK Kuota Tanpa Server](limits.md#serverless-quota).
## Perubahan konfigurasi cluster
+ Disarankan agar Anda tidak mengaktifkan atau menonaktifkan penyimpanan berjenjang setelah Replikator MSK dibuat. Jika cluster target Anda tidak berjenjang, maka MSK tidak akan menyalin konfigurasi penyimpanan berjenjang, terlepas dari apakah cluster sumber Anda berjenjang atau tidak. Jika Anda mengaktifkan penyimpanan berjenjang pada cluster target setelah Replicator dibuat, Replicator perlu dibuat ulang. Jika Anda ingin menyalin data dari klaster yang tidak berjenjang ke klaster berjenjang, Anda tidak boleh menyalin konfigurasi topik. Lihat [Mengaktifkan dan menonaktifkan penyimpanan berjenjang pada](https://docs.aws.amazon.com/msk/latest/developerguide/msk-enable-disable-topic-tiered-storage-cli.html) topik yang ada.
+ Jangan ubah pengaturan konfigurasi cluster setelah pembuatan MSK Replicator. Pengaturan konfigurasi cluster divalidasi selama pembuatan MSK Replicator. Untuk menghindari masalah dengan MSK Replicator, jangan mengubah pengaturan berikut setelah MSK Replicator dibuat.
+ Ubah cluster MSK ke tipe instans t3.
+ Ubah izin peran eksekusi layanan.
+ Nonaktifkan konektivitas pribadi MSK Multi-VPC.
+ Ubah kebijakan berbasis sumber daya klaster terlampir.
+ Ubah aturan grup keamanan klaster.
# Buat replikator menggunakan AWS konsol di wilayah cluster target
Bagian berikut menjelaskan alur kerja konsol langkah demi langkah untuk membuat replikator.
**Detail replikator**
1. [Di AWS Wilayah tempat cluster MSK target Anda berada, buka konsol MSK Amazon di https://console.aws.amazon.com/msk/ rumah? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. Pilih **Replikator** untuk menampilkan daftar replikator di akun.
1. Pilih **Buat replikator**.
1. Di panel **Detail Replicator**, berikan replikator baru nama yang unik.
## Pilih cluster sumber Anda
Cluster sumber berisi data yang ingin Anda salin ke kluster MSK target.
1. Di panel **cluster Sumber**, pilih AWS Wilayah tempat kluster sumber berada.
Anda dapat mencari Region cluster dengan pergi ke **MSK Clusters** dan melihat rincian **Cluster** ARN. Nama Region disematkan dalam string ARN. Dalam contoh ARN berikut, `ap-southeast-2` adalah wilayah cluster.
```
arn:aws:kafka:ap-southeast-2:123456789012:cluster/cluster-11/eec93c7f-4e8b-4baf-89fb-95de01ee639c-s1
```
1. Masukkan ARN cluster sumber Anda atau telusuri untuk memilih cluster sumber Anda.
1. Pilih subnet untuk cluster sumber Anda.
Konsol menampilkan subnet yang tersedia di Wilayah cluster sumber untuk Anda pilih. Anda harus memilih minimal dua subnet. Untuk Replicator MSK wilayah yang sama, subnet yang Anda pilih disetel untuk mengakses cluster sumber dan subnet untuk mengakses kluster target harus berada di Availability Zone yang sama.
1. Pilih grup keamanan untuk Replikator MSK untuk mengakses kluster sumber Anda.
+ Untuk replikasi lintas wilayah (CRR), Anda tidak perlu menyediakan grup keamanan untuk cluster sumber Anda.
+ Untuk replikasi wilayah yang sama (SRR), buka konsol Amazon EC2 https://console.aws.amazon.com/ec2/ di dan pastikan bahwa grup keamanan yang akan Anda sediakan untuk Replicator memiliki aturan keluar untuk mengizinkan lalu lintas ke grup keamanan cluster sumber Anda. Selain itu, pastikan bahwa grup keamanan cluster sumber Anda memiliki aturan masuk yang memungkinkan lalu lintas dari grup keamanan Replicator yang disediakan untuk sumbernya.
**Untuk menambahkan aturan masuk ke grup keamanan cluster sumber Anda:**
1. Di AWS konsol, buka detail cluster sumber Anda dengan memilih **nama Cluster**.
1. Pilih **tab Properti**, lalu gulir ke bawah ke panel **Pengaturan jaringan** untuk memilih nama **grup Keamanan** yang diterapkan.
1. Buka aturan masuk dan pilih **Edit aturan masuk**.
1. Pilih **Tambahkan aturan**.
1. Di kolom **Type** untuk aturan baru, pilih **Custom TCP**.
1. Di kolom **rentang Port**, ketik`9098`. MSK Replicator menggunakan kontrol akses IAM untuk terhubung ke cluster Anda yang menggunakan port 9098.
1. Di kolom **Sumber**, ketikkan nama grup keamanan yang akan Anda berikan selama pembuatan Replicator untuk cluster sumber (ini mungkin sama dengan grup keamanan kluster sumber MSK), lalu pilih **Simpan** aturan.
**Untuk menambahkan aturan keluar ke grup keamanan Replicator yang disediakan untuk sumber:**
1. Di AWS konsol untuk Amazon EC2, buka grup keamanan yang akan Anda berikan selama pembuatan Replicator untuk sumbernya.
1. Buka aturan keluar dan pilih **Edit aturan keluar**.
1. Pilih **Tambahkan aturan**.
1. Di kolom **Type** untuk aturan baru, pilih **Custom TCP**.
1. Di kolom **rentang Port**, ketik`9098`. MSK Replicator menggunakan kontrol akses IAM untuk terhubung ke cluster Anda yang menggunakan port 9098.
1. Di kolom **Sumber**, ketik nama grup keamanan kluster sumber MSK, lalu pilih **Simpan aturan**.
**catatan**
Sebagai alternatif, jika Anda tidak ingin membatasi lalu lintas menggunakan grup keamanan Anda, Anda dapat menambahkan aturan masuk dan keluar yang memungkinkan Semua Lalu Lintas.
1. Pilih **Tambahkan aturan**.
2. Di kolom **Type**, pilih **All Traffic**.
3. Di kolom Sumber, ketik`0.0.0.0/0`, lalu pilih **Simpan aturan**.
## Pilih klaster target Anda
Cluster target adalah kluster yang disediakan MSK atau tanpa server tempat data sumber disalin.
**catatan**
MSK Replicator membuat topik baru di cluster target dengan awalan yang dibuat otomatis ditambahkan ke nama topik. Misalnya, MSK Replicator mereplikasi data dalam “`topic`” dari cluster sumber ke topik baru di cluster target yang disebut. `.topic` Ini untuk membedakan topik yang berisi data yang direplikasi dari cluster sumber dari topik lain di cluster target dan untuk menghindari data yang direplikasi secara sirkuler antara cluster. Anda dapat menemukan awalan yang akan ditambahkan ke nama topik di kluster target di bawah bidang **sourceKafkaClusterAlias** menggunakan `DescribeReplicator` API atau halaman **detail Replicator** di Konsol MSK. Awalan di cluster target adalah``.
1. Di panel **cluster Target**, pilih AWS Wilayah tempat klaster target berada.
1. Masukkan ARN kluster target Anda atau telusuri untuk memilih klaster target Anda.
1. Pilih subnet untuk kluster target Anda.
Konsol menampilkan subnet yang tersedia di Wilayah kluster target untuk Anda pilih. Pilih minimal dua subnet.
1. Pilih grup keamanan untuk Replikator MSK untuk mengakses kluster target Anda.
Grup keamanan yang tersedia di Wilayah kluster target ditampilkan untuk Anda pilih. Grup keamanan yang dipilih dikaitkan dengan setiap koneksi. Untuk informasi selengkapnya tentang menggunakan grup keamanan, lihat [Mengontrol lalu lintas ke AWS sumber daya Anda menggunakan grup keamanan](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-security-groups.html) di *Panduan Pengguna Amazon VPC*.
+ Untuk replikasi lintas wilayah (CRR) dan replikasi wilayah yang sama (SRR), buka konsol Amazon EC2 di [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/)dan pastikan bahwa grup keamanan yang akan Anda berikan kepada Replicator memiliki aturan keluar untuk mengizinkan lalu lintas ke grup keamanan kluster target Anda. Pastikan juga bahwa grup keamanan kluster target Anda memiliki aturan masuk yang menerima lalu lintas dari grup keamanan Replicator yang disediakan untuk target.
**Untuk menambahkan aturan masuk ke grup keamanan klaster target Anda:**
1. Di AWS konsol, buka detail kluster target Anda dengan memilih **nama Cluster**.
1. Pilih tab **Properti**, lalu gulir ke bawah ke panel Pengaturan jaringan untuk memilih nama **grup Keamanan** yang diterapkan.
1. Buka aturan masuk dan pilih **Edit aturan masuk**.
1. Pilih **Tambahkan aturan**.
1. Di kolom **Type** untuk aturan baru, pilih **Custom TCP**.
1. Di kolom **rentang Port**, ketik`9098`. MSK Replicator menggunakan kontrol akses IAM untuk terhubung ke cluster Anda yang menggunakan port 9098.
1. Di kolom **Sumber**, ketikkan nama grup keamanan yang akan Anda berikan selama pembuatan Replicator untuk kluster target (ini mungkin sama dengan grup keamanan kluster target MSK), lalu pilih **Simpan** aturan.
**Untuk menambahkan aturan keluar ke grup keamanan Replicator yang disediakan untuk target:**
1. Di AWS konsol, buka grup keamanan yang akan Anda berikan selama pembuatan Replicator untuk target.
1. Pilih tab **Properti**, lalu gulir ke bawah ke panel Pengaturan jaringan untuk memilih nama **grup Keamanan** yang diterapkan.
1. Buka aturan keluar dan pilih **Edit aturan keluar**.
1. Pilih **Tambahkan aturan**.
1. Di kolom **Type** untuk aturan baru, pilih **Custom TCP**.
1. Di kolom **rentang Port**, ketik`9098`. MSK Replicator menggunakan kontrol akses IAM untuk terhubung ke cluster Anda yang menggunakan port 9098.
1. Di kolom **Sumber**, ketik nama grup keamanan kluster target MSK, lalu pilih **Simpan aturan**.
**catatan**
Sebagai alternatif, jika Anda tidak ingin membatasi lalu lintas menggunakan grup keamanan Anda, Anda dapat menambahkan aturan masuk dan keluar yang memungkinkan Semua Lalu Lintas.
1. Pilih **Tambahkan aturan**.
2. Di kolom **Type**, pilih **All Traffic**.
3. Di kolom Sumber, ketik`0.0.0.0/0`, lalu pilih **Simpan aturan**.
## Konfigurasikan pengaturan dan izin replikator
1. Di panel **Pengaturan replikator**, tentukan topik yang ingin Anda tiru menggunakan ekspresi reguler dalam daftar izinkan dan tolak. Secara default, semua topik direplikasi.
**catatan**
MSK Replicator hanya mereplikasi hingga 750 topik dalam urutan yang diurutkan. Jika Anda perlu mereplikasi lebih banyak topik, kami sarankan Anda membuat Replicator terpisah. Buka Pusat Dukungan AWS konsol dan [buat kasus dukungan](https://console.aws.amazon.com/support/home#/) jika Anda memerlukan dukungan untuk lebih dari 750 topik per Replicator. Anda dapat memantau jumlah topik yang direplikasi menggunakan metrik TopicCount "”. Lihat [Kuota pialang Amazon MSK Standard](limits.md#msk-provisioned-quota).
1. Secara default, MSK Replicator memulai replikasi dari offset *terbaru (terbaru*) dalam topik yang dipilih. Atau, Anda dapat memulai replikasi dari offset *paling awal* (tertua) dalam topik yang dipilih jika Anda ingin mereplikasi data yang ada pada topik Anda. Setelah Replicator dibuat, Anda tidak dapat mengubah pengaturan ini. Pengaturan ini sesuai dengan [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#v1-replicators-replicatorarn-model-replicationstartingposition](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#v1-replicators-replicatorarn-model-replicationstartingposition)bidang dalam [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators.html#CreateReplicator](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators.html#CreateReplicator)permintaan dan [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#DescribeReplicator](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#DescribeReplicator)respons APIs.
1. Pilih konfigurasi nama topik:
+ `PREFIXED`replikasi nama topik (**Tambahkan awalan ke nama topik** di konsol): Pengaturan default. MSK Replicator mereplikasi “topic1" dari cluster sumber ke topik baru di cluster target dengan nama. `.topic1`
+ Replikasi nama topik yang identik (**Simpan nama topik yang sama** di konsol): Topik dari kluster sumber direplikasi dengan nama topik yang identik di kluster target.
Pengaturan ini sesuai dengan `TopicNameConfiguration` bidang dalam `CreateReplicator` permintaan dan `DescribeReplicator` respons APIs. Lihat [Bagaimana Amazon MSK Replicator bekerja](msk-replicator-how-it-works.md).
**catatan**
Secara default, MSK Replicator membuat topik baru di cluster target dengan awalan yang dibuat otomatis ditambahkan ke nama topik. Ini untuk membedakan topik yang berisi data yang direplikasi dari cluster sumber dari topik lain di cluster target dan untuk menghindari data yang direplikasi secara sirkuler antara cluster. Atau, Anda dapat membuat Replikator MSK dengan replikasi nama topik yang identik (**Simpan nama topik yang sama** di konsol) sehingga nama topik dipertahankan selama replikasi. Konfigurasi ini mengurangi kebutuhan Anda untuk mengkonfigurasi ulang aplikasi klien selama pengaturan dan membuatnya lebih mudah untuk mengoperasikan arsitektur streaming multi-cluster.
1. Secara default, MSK Replicator menyalin semua metadata termasuk konfigurasi topik, Access Control Lists (ACLs) dan offset grup konsumen untuk failover yang mulus. Jika Anda tidak membuat Replicator untuk failover, Anda dapat memilih untuk mematikan satu atau beberapa pengaturan ini yang tersedia di bagian Pengaturan **tambahan**.
**catatan**
MSK Replicator tidak mereplikasi penulisan ACLs karena produser Anda tidak boleh menulis langsung ke topik yang direplikasi di cluster target. Produser Anda harus menulis ke topik lokal di cluster target setelah failover. Lihat [Lakukan failover yang direncanakan ke Wilayah sekunder AWS](msk-replicator-perform-planned-failover.md) untuk detail.
1. Di panel **replikasi grup konsumen**, tentukan grup konsumen yang ingin direplikasi menggunakan ekspresi reguler dalam daftar izinkan dan tolak. Secara default, semua grup konsumen direplikasi.
1. Di panel **Kompresi**, Anda dapat memilih untuk mengompres data yang ditulis ke cluster target. Jika Anda akan menggunakan kompresi, kami sarankan Anda menggunakan metode kompresi yang sama dengan data di cluster sumber Anda.
1. Di panel **Izin akses** lakukan salah satu hal berikut:
1. Pilih **Buat atau perbarui peran IAM dengan kebijakan yang diperlukan**. Konsol MSK akan secara otomatis melampirkan izin dan kebijakan kepercayaan yang diperlukan ke peran eksekusi layanan yang diperlukan untuk membaca dan menulis ke sumber dan target kluster MSK Anda.
![\[Konsol MSK untuk membuat atau memperbarui peran IAM replikator\]](http://docs.aws.amazon.com/id_id/msk/latest/developerguide/images/msk-replicator-ezCRC.png)
1. Berikan peran IAM Anda sendiri dengan memilih **Pilih dari peran IAM yang dapat diasumsikan oleh Amazon MSK**. Kami menyarankan Anda melampirkan kebijakan IAM `AWSMSKReplicatorExecutionRole` terkelola ke peran eksekusi layanan Anda, alih-alih menulis kebijakan IAM Anda sendiri.
1. Buat peran IAM yang akan digunakan Replicator untuk membaca dan menulis ke sumber Anda dan target kluster MSK dengan JSON di bawah ini sebagai bagian dari kebijakan kepercayaan dan terlampir pada peran tersebut`AWSMSKReplicatorExecutionRole`. Dalam kebijakan kepercayaan, ganti placeholder dengan ID akun Anda yang sebenarnya.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "kafka.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": ""
}
}
}
]
}
```
------
1. Di panel **tag Replicator**, Anda dapat secara opsional menetapkan tag ke sumber daya MSK Replicator. Untuk informasi selengkapnya, lihat [Menandai kluster MSK Amazon](msk-tagging.md). Untuk Replikator MSK lintas wilayah, tag disinkronkan ke Wilayah jarak jauh secara otomatis saat Replicator dibuat. Jika Anda mengubah tag setelah Replicator dibuat, perubahan tidak secara otomatis disinkronkan ke Wilayah jarak jauh, jadi Anda harus menyinkronkan replikator lokal dan referensi replikator jarak jauh secara manual.
1. Pilih **Buat**.
Jika Anda ingin membatasi `kafka-cluster:WriteData` izin, lihat bagian *Buat kebijakan otorisasi* dari [Cara kerja kontrol akses IAM untuk Amazon MSK](https://docs.aws.amazon.com/msk/latest/developerguide/iam-access-control.html#how-to-use-iam-access-control). Anda harus menambahkan `kafka-cluster:WriteDataIdempotently` izin ke cluster sumber dan target.
Dibutuhkan sekitar 30 menit agar Replikator MSK berhasil dibuat dan dialihkan ke status RUNNING.
Jika Anda membuat Replikator MSK baru untuk menggantikan yang Anda hapus, Replicator baru memulai replikasi dari offset terbaru.
[Jika Replikator MSK Anda telah beralih ke status GAGAL, lihat bagian pemecahan masalah Pemecahan Masalah Replikator MSK.](msk-replicator-troubleshooting.md)
# Edit pengaturan MSK Replicator
Anda tidak dapat mengubah cluster sumber, kluster target, posisi awal Replicator, atau konfigurasi replikasi nama topik setelah Replikator MSK dibuat. Anda perlu membuat replikator baru untuk menggunakan konfigurasi replikasi nama topik yang identik. Namun, Anda dapat mengedit pengaturan Replicator lainnya, seperti topik dan grup konsumen untuk ditiru.
1. Masuk ke Konsol Manajemen AWS, dan buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. Di panel navigasi kiri, pilih **Replikator** untuk menampilkan daftar Replikator di akun dan pilih Replikator MSK yang ingin Anda edit.
1. Pilih tab **Properti**.
1. Di bagian **Pengaturan replikator**, pilih **Edit replikator**.
1. Anda dapat mengedit pengaturan MSK Replicator dengan mengubah salah satu pengaturan ini.
+ Tentukan topik yang ingin Anda tiru menggunakan ekspresi reguler dalam daftar izinkan dan tolak. Secara default, MSK Replicator menyalin semua metadata termasuk konfigurasi topik, Access Control Lists (ACLs) dan offset grup konsumen untuk failover yang mulus. Jika Anda tidak membuat Replicator untuk failover, Anda dapat memilih untuk mematikan satu atau beberapa pengaturan ini yang tersedia di bagian Pengaturan **tambahan**.
**catatan**
MSK Replicator tidak mereplikasi penulisan ACLs karena produser Anda tidak boleh menulis langsung ke topik yang direplikasi di cluster target. Produser Anda harus menulis ke topik lokal di cluster target setelah failover. Lihat [Lakukan failover yang direncanakan ke Wilayah sekunder AWS](msk-replicator-perform-planned-failover.md) untuk detail.
+ Untuk **replikasi grup Konsumen**, Anda dapat menentukan grup konsumen yang ingin direplikasi menggunakan ekspresi reguler dalam daftar izinkan dan tolak. Secara default, semua grup konsumen direplikasi. Jika daftar allow dan deny kosong, replikasi grup konsumen dimatikan.
+ Di bawah **Jenis kompresi target**, Anda dapat memilih apakah akan mengompres data yang ditulis ke cluster target. Jika Anda akan menggunakan kompresi, kami sarankan Anda menggunakan metode kompresi yang sama dengan data di cluster sumber Anda.
1. Simpan perubahan Anda.
Dibutuhkan sekitar 30 menit agar Replikator MSK berhasil dibuat dan dialihkan ke status berjalan. Jika Replikator MSK Anda telah beralih ke status GAGAL, lihat bagian pemecahan masalah. [Memecahkan masalah MSK Replicator](msk-replicator-troubleshooting.md)
# Hapus Replikator MSK
Anda mungkin perlu menghapus Replikator MSK jika gagal membuat (status GAGAL). Cluster sumber dan target yang ditetapkan ke Replikator MSK tidak dapat diubah setelah Replikator MSK dibuat. Anda dapat menghapus Replikator MSK yang ada dan membuat yang baru. Jika Anda membuat Replikator MSK baru untuk menggantikan yang dihapus, Replicator baru memulai replikasi dari offset terbaru.
1. Di AWS Wilayah tempat cluster sumber Anda berada, masuk ke Konsol Manajemen AWS, dan buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. Di panel navigasi, pilih **Replicators**.
1. **Dari daftar Replikator MSK, pilih salah satu yang ingin Anda hapus dan pilih Hapus.**
# Pantau replikasi
Anda dapat menggunakan [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/)di Wilayah kluster target untuk melihat metrik untuk`ReplicationLatency`,`MessageLag`, dan `ReplicatorThroughput` pada tingkat topik dan agregat untuk setiap Replikator MSK Amazon. Metrik terlihat di bawah **ReplicatorName**di namespace “AWS/Kafka”. Anda juga dapat melihat`ReplicatorFailure`, `AuthError` dan `ThrottleTime` metrik untuk memeriksa masalah.
Konsol MSK menampilkan subset CloudWatch metrik untuk setiap Replikator MSK. Dari daftar **Replicator** konsol, pilih nama Replicator dan pilih tab **Monitoring**.
## Metrik Replikator MSK
Metrik berikut menjelaskan metrik kinerja atau koneksi untuk Replikator MSK.
AuthError metrik tidak mencakup kesalahan autentikasi tingkat topik. Untuk memantau kesalahan autentikasi tingkat topik MSK Replicator Anda, pantau metrik Replicator dan ReplicationLatency metrik tingkat topik cluster sumber,. MessagesInPerSec Jika topik ReplicationLatency turun ke 0 tetapi topik masih memiliki data yang diproduksi untuk itu, ini menunjukkan bahwa Replicator memiliki masalah Auth dengan topik tersebut. Periksa apakah peran IAM eksekusi layanan Replicator memiliki izin yang cukup untuk mengakses topik.
****
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/msk/latest/developerguide/msk-replicator-monitor.html)
# Gunakan replikasi untuk meningkatkan ketahanan aplikasi streaming Kafka di seluruh Wilayah
Anda dapat menggunakan MSK Replicator untuk menyiapkan topologi cluster aktif-aktif atau aktif-pasif untuk meningkatkan ketahanan aplikasi Apache Kafka Anda di seluruh Wilayah. AWS Dalam pengaturan aktif-aktif, kedua kluster MSK secara aktif melayani membaca dan menulis. Dalam pengaturan aktif-pasif, hanya satu cluster MSK pada satu waktu yang secara aktif melayani data streaming, sementara cluster lainnya dalam keadaan siaga.
## Pertimbangan untuk membangun aplikasi Multi-region Apache Kafka
Konsumen Anda harus dapat memproses ulang pesan duplikat tanpa dampak hilir. MSK Replicator mereplikasi data at-least-once yang dapat menghasilkan duplikat di cluster siaga. Ketika Anda beralih ke AWS Wilayah sekunder, konsumen Anda dapat memproses data yang sama lebih dari sekali. MSK Replicator memprioritaskan penyalinan data daripada offset konsumen untuk kinerja yang lebih baik. Setelah failover, konsumen dapat mulai membaca dari offset sebelumnya yang menghasilkan pemrosesan duplikat.
Produsen dan konsumen juga harus mentolerir kehilangan data minimal. Karena MSK Replicator mereplikasi data secara asinkron, ketika AWS Region primer mulai mengalami kegagalan, tidak ada jaminan bahwa semua data direplikasi ke Region sekunder. Anda dapat menggunakan latensi replikasi untuk menentukan data maksimum yang tidak disalin ke Wilayah sekunder.
## Menggunakan topologi cluster aktif-aktif versus aktif-pasif
Topologi cluster aktif-aktif menawarkan waktu pemulihan mendekati nol dan kemampuan aplikasi streaming Anda untuk beroperasi secara bersamaan di beberapa Wilayah. AWS Ketika sebuah cluster di satu Wilayah terganggu, aplikasi yang terhubung ke cluster di Wilayah lain terus memproses data.
Pengaturan pasif aktif cocok untuk aplikasi yang dapat berjalan hanya di satu AWS Wilayah pada satu waktu, atau ketika Anda membutuhkan kontrol lebih besar atas urutan pemrosesan data. Pengaturan aktif-pasif memerlukan lebih banyak waktu pemulihan daripada pengaturan aktif-aktif, karena Anda harus memulai seluruh pengaturan aktif-pasif Anda, termasuk produsen dan konsumen Anda, di Wilayah sekunder untuk melanjutkan streaming data setelah failover.
# Buat pengaturan cluster Kafka pasif aktif dengan konfigurasi penamaan topik yang direkomendasikan
Untuk pengaturan aktif-pasif, kami menyarankan Anda untuk mengoperasikan pengaturan serupa dari produsen, klaster MSK, dan konsumen (dengan nama grup konsumen yang sama) di dua Wilayah yang berbeda. AWS Penting bahwa kedua cluster MSK memiliki kapasitas baca dan tulis yang identik untuk memastikan replikasi data yang andal. Anda perlu membuat Replikator MSK untuk terus menyalin data dari primer ke cluster siaga. Anda juga perlu mengonfigurasi produsen Anda untuk menulis data ke dalam topik pada klaster di AWS Wilayah yang sama.
Untuk penyiapan aktif-pasif, buat Replicator baru dengan replikasi nama topik identik (**Simpan nama topik yang sama** di konsol) untuk mulai mereplikasi data dari klaster MSK Anda di wilayah utama ke klaster Anda di wilayah sekunder. Kami menyarankan Anda mengoperasikan kumpulan duplikat produsen dan konsumen di dua AWS Wilayah, masing-masing terhubung ke cluster di wilayah mereka sendiri menggunakan string bootstrap. Ini menyederhanakan proses failover karena tidak memerlukan perubahan pada string bootstrap. Untuk memastikan bahwa konsumen membaca dari dekat tempat mereka tinggalkan, konsumen di kelompok sumber dan target harus memiliki ID grup konsumen yang sama.
Jika Anda menggunakan replikasi nama topik identik (**Simpan nama topik yang sama** di konsol) untuk Replikator MSK Anda, itu akan mereplikasi topik Anda dengan nama yang sama dengan topik sumber yang sesuai.
Kami menyarankan Anda mengonfigurasi pengaturan tingkat klaster dan izin untuk klien Anda di kluster target. Anda tidak perlu mengonfigurasi pengaturan tingkat topik dan membaca literal ACLs sebagai Replikator MSK secara otomatis menyalinnya jika Anda telah memilih opsi untuk menyalin daftar kontrol akses. Lihat [Replikasi metadata](msk-replicator-how-it-works.md#msk-replicator-metadata-replication).
# Kegagalan ke Wilayah sekunder AWS
Kami menyarankan Anda memantau latensi replikasi di AWS Wilayah sekunder menggunakan Amazon. CloudWatch Selama acara layanan di AWS Wilayah primer, latensi replikasi dapat tiba-tiba meningkat. Jika latensi terus meningkat, gunakan AWS Service Health Dashboard untuk memeriksa kejadian layanan di AWS Wilayah utama. Jika ada acara, Anda dapat melakukan failover ke AWS Region sekunder.
# Lakukan failover yang direncanakan ke Wilayah sekunder AWS
Anda dapat melakukan failover yang direncanakan untuk menguji ketahanan aplikasi Anda terhadap peristiwa tak terduga di AWS wilayah utama Anda yang memiliki kluster MSK sumber Anda. Failover yang direncanakan seharusnya tidak mengakibatkan kehilangan data.
Jika Anda menggunakan konfigurasi replikasi nama topik identik, ikuti langkah-langkah berikut:
1. Matikan semua produsen dan konsumen yang terhubung ke cluster sumber Anda.
1. Buat Replikator MSK baru untuk mereplikasi data dari klaster MSK Anda di Wilayah sekunder ke kluster MSK Anda di Wilayah utama dengan replikasi nama topik yang identik (**Simpan nama topik yang sama di konsol**). Ini diperlukan untuk menyalin data yang akan Anda tulis ke wilayah sekunder kembali ke Wilayah utama sehingga Anda dapat gagal kembali ke Wilayah utama setelah peristiwa tak terduga berakhir.
1. Mulai produsen dan konsumen yang terhubung ke cluster target di AWS Wilayah sekunder.
Jika Anda menggunakan konfigurasi nama topik awalan, ikuti langkah-langkah berikut untuk failover:
1. Matikan semua produsen dan konsumen yang terhubung ke cluster sumber Anda.
1. Buat Replikator MSK baru untuk mereplikasi data dari klaster MSK Anda di Wilayah sekunder ke kluster MSK Anda di Wilayah utama. Ini diperlukan untuk menyalin data yang akan Anda tulis ke wilayah sekunder kembali ke Wilayah utama sehingga Anda dapat gagal kembali ke Wilayah utama setelah peristiwa tak terduga berakhir.
1. Mulai produsen pada cluster target di AWS Wilayah sekunder.
1. Bergantung pada persyaratan pemesanan pesan aplikasi Anda, ikuti langkah-langkah di salah satu tab berikut.
------
#### [ No message ordering ]
Jika aplikasi Anda tidak memerlukan pemesanan pesan, mulailah konsumen di AWS Wilayah sekunder yang membaca dari topik lokal (misalnya, topik) dan topik yang direplikasi (misalnya,`.topic`) menggunakan operator wildcard (misalnya,`.*topic`).
------
#### [ Message ordering ]
Jika aplikasi Anda memerlukan pemesanan pesan, mulailah konsumen hanya untuk topik yang direplikasi pada klaster target (misalnya,`.topic`) tetapi bukan topik lokal (misalnya,`topic`).
------
1. Tunggu semua konsumen topik yang direplikasi pada cluster MSK target untuk menyelesaikan pemrosesan semua data, sehingga kelambatan konsumen adalah 0 dan jumlah catatan yang diproses juga 0. Kemudian, hentikan konsumen untuk topik yang direplikasi pada cluster target. Pada titik ini, semua catatan yang direplikasi dari cluster MSK sumber untuk menargetkan klaster MSK telah dikonsumsi.
1. Mulai konsumen untuk topik lokal (misalnya,`topic`) pada cluster MSK target.
# Lakukan failover yang tidak direncanakan ke Wilayah sekunder AWS
Anda dapat melakukan failover yang tidak direncanakan ketika ada acara layanan di AWS Wilayah utama yang memiliki kluster MSK sumber Anda dan Anda ingin mengalihkan sementara lalu lintas Anda ke Wilayah sekunder yang memiliki kluster MSK target Anda. Failover yang tidak direncanakan dapat mengakibatkan beberapa kehilangan data karena MSK Replicator mereplikasi data secara asinkron. Anda dapat melacak lag pesan menggunakan metrik di[Pantau replikasi](msk-replicator-monitor.md).
Jika Anda menggunakan Konfigurasi replikasi nama topik identik (**Simpan nama topik yang sama** di konsol), ikuti langkah-langkah berikut:
1. Mencoba untuk menutup semua produsen dan konsumen yang terhubung ke cluster MSK sumber di Wilayah utama. Operasi ini mungkin tidak berhasil karena gangguan di wilayah itu.
1. Mulai produsen dan konsumen yang terhubung ke cluster MSK target di AWS Wilayah sekunder untuk menyelesaikan failover. Karena MSK Replicator juga mereplikasi metadata termasuk offset baca ACLs dan grup konsumen, produsen dan konsumen Anda akan melanjutkan pemrosesan dengan mulus dari dekat tempat mereka tinggalkan sebelum failover.
Jika Anda menggunakan konfigurasi nama `PREFIX` topik, ikuti langkah-langkah berikut untuk failover:
1. Mencoba untuk menutup semua produsen dan konsumen yang terhubung ke cluster MSK sumber di Wilayah utama. Operasi ini mungkin tidak berhasil karena gangguan di wilayah itu.
1. Mulai produsen dan konsumen yang terhubung ke cluster MSK target di AWS Wilayah sekunder untuk menyelesaikan failover. Karena MSK Replicator juga mereplikasi metadata termasuk offset baca ACLs dan grup konsumen, produsen dan konsumen Anda akan melanjutkan pemrosesan dengan mulus dari dekat tempat mereka tinggalkan sebelum failover.
1. Bergantung pada persyaratan pemesanan pesan aplikasi Anda, ikuti langkah-langkah di salah satu tab berikut.
------
#### [ No message ordering ]
Jika aplikasi Anda tidak memerlukan pemesanan pesan, mulailah konsumen di AWS Wilayah target yang membaca dari topik lokal (misalnya,`topic`) dan topik yang direplikasi (misalnya,`.topic`) menggunakan operator wildcard (misalnya,`.*topic`).
------
#### [ Message ordering ]
1. Mulai konsumen hanya untuk topik yang direplikasi pada cluster target (misalnya,`.topic`) tetapi bukan topik lokal (misalnya,`topic`).
1. Tunggu semua konsumen topik yang direplikasi pada cluster MSK target untuk menyelesaikan pemrosesan semua data, sehingga offset lag adalah 0 dan jumlah catatan yang diproses juga 0. Kemudian, hentikan konsumen untuk topik yang direplikasi pada cluster target. Pada titik ini, semua catatan yang direplikasi dari cluster MSK sumber untuk menargetkan klaster MSK telah dikonsumsi.
1. Mulai konsumen untuk topik lokal (misalnya,`topic`) pada cluster MSK target.
------
1. *Setelah acara layanan berakhir di Wilayah utama, buat Replikator MSK baru untuk mereplikasi data dari klaster MSK Anda di Wilayah sekunder ke kluster MSK Anda di Wilayah primer dengan posisi awal Replicator disetel ke paling awal.* Ini diperlukan untuk menyalin data yang akan Anda tulis ke Wilayah sekunder kembali ke Wilayah utama sehingga Anda dapat gagal kembali ke Wilayah utama setelah acara layanan berakhir. Jika Anda tidak menyetel posisi awal Replicator ke yang *paling awal*, data apa pun yang Anda hasilkan ke cluster di wilayah sekunder selama peristiwa layanan di wilayah primer tidak akan disalin kembali ke cluster di wilayah primer.
# Lakukan failback ke Wilayah utama AWS
Anda dapat gagal kembali ke AWS wilayah utama setelah acara layanan di wilayah tersebut berakhir.
Jika Anda menggunakan konfigurasi replikasi nama topik identik, ikuti langkah-langkah berikut:
1. Buat Replikator MSK baru dengan cluster sekunder Anda sebagai sumber dan klaster utama sebagai target, posisi awal disetel ke replikasi nama topik yang *paling awal* dan identik (**Simpan nama topik yang sama di konsol**).
Ini akan memulai proses menyalin semua data yang ditulis ke cluster sekunder setelah failover kembali ke wilayah primer.
1. Pantau `MessageLag` metrik pada replikator baru di Amazon CloudWatch hingga mencapai`0`, yang menunjukkan semua data telah direplikasi dari sekunder ke primer.
1. Setelah semua data direplikasi, hentikan semua produsen yang terhubung ke cluster sekunder dan mulai produsen terhubung ke cluster primer.
1. Tunggu `MaxOffsetLag` metrik untuk konsumen Anda terhubung ke cluster sekunder `0` untuk memastikan mereka telah memproses semua data. Lihat [Pantau kelambatan konsumen](consumer-lag.md).
1. Setelah semua data diproses, hentikan konsumen di wilayah sekunder dan mulai konsumen terhubung ke cluster utama untuk menyelesaikan failback.
1. Hapus Replicator yang Anda buat pada langkah pertama yaitu mereplikasi data dari cluster sekunder Anda ke primer.
1. Verifikasi bahwa Replicator yang sudah ada menyalin data dari klaster primer ke klaster sekunder memiliki status sebagai “RUNNING” dan `ReplicatorThroughput` metrik di Amazon. CloudWatch `0`
Perhatikan bahwa ketika Anda membuat Replicator baru dengan posisi *awal sebagai Earliest* for failback, Replicator mulai membaca semua data dalam topik cluster sekunder Anda. Bergantung pada pengaturan penyimpanan data Anda, topik Anda mungkin memiliki data yang berasal dari cluster sumber Anda. Sementara MSK Replicator secara otomatis memfilter pesan-pesan itu, Anda masih akan dikenakan biaya pemrosesan data dan transfer untuk semua data di cluster sekunder Anda. Anda dapat melacak total data yang diproses oleh replikator menggunakan`ReplicatorBytesInPerSec`. Lihat [Metrik Replikator MSK](msk-replicator-monitor.md#msk-replicator-metrics).
Jika Anda menggunakan konfigurasi nama topik awalan, ikuti langkah-langkah berikut:
Anda harus memulai langkah failback hanya setelah replikasi dari cluster di Region sekunder ke cluster di Wilayah primer telah menyusul dan metrik MessageLag di Amazon mendekati CloudWatch 0. Failback yang direncanakan seharusnya tidak mengakibatkan kehilangan data.
1. Matikan semua produsen dan konsumen yang terhubung ke cluster MSK di Wilayah sekunder.
1. Untuk topologi aktif-pasif, hapus Replicator yang mereplikasi data dari cluster di Region sekunder ke Region primer. Anda tidak perlu menghapus Replicator untuk topologi aktif-aktif.
1. Mulai produsen yang terhubung ke cluster MSK di Wilayah utama.
1. Bergantung pada persyaratan pemesanan pesan aplikasi Anda, ikuti langkah-langkah di salah satu tab berikut.
------
#### [ No message ordering ]
Jika aplikasi Anda tidak memerlukan pemesanan pesan, mulailah konsumen di AWS Wilayah utama yang membaca dari topik lokal (misalnya,`topic`) dan topik yang direplikasi (misalnya,`.topic`) menggunakan operator wildcard (misalnya,`.*topic`). Konsumen pada topik lokal (misalnya: topik) akan melanjutkan dari offset terakhir yang mereka konsumsi sebelum failover. Jika ada data yang belum diproses dari sebelum failover, itu akan diproses sekarang. Dalam kasus failover yang direncanakan, seharusnya tidak ada catatan seperti itu.
------
#### [ Message ordering ]
1. Mulai konsumen hanya untuk topik yang direplikasi di Wilayah primer (misalnya,`.topic`) tetapi bukan topik lokal (misalnya,`topic`).
1. Tunggu semua konsumen topik yang direplikasi pada cluster di Wilayah primer untuk menyelesaikan pemrosesan semua data, sehingga offset lag adalah 0 dan jumlah catatan yang diproses juga 0. Kemudian, hentikan konsumen untuk topik yang direplikasi pada cluster di Wilayah utama. Pada titik ini, semua catatan yang diproduksi di Wilayah sekunder setelah failover telah dikonsumsi di Wilayah primer.
1. Mulai konsumen untuk topik lokal (misalnya,`topic`) pada cluster di Wilayah utama.
------
1. Verifikasi bahwa Replicator yang ada dari cluster di primer ke cluster di Region sekunder berada dalam status RUNNING dan berfungsi seperti yang diharapkan menggunakan metrik `ReplicatorThroughput` dan latensi.
# Buat pengaturan aktif-aktif menggunakan MSK Replicator
Jika Anda ingin membuat pengaturan aktif-aktif di mana kedua kluster MSK secara aktif menyajikan pembacaan dan penulisan, kami sarankan Anda menggunakan Replikator MSK dengan replikasi nama topik Awalan (**Tambahkan** awalan ke nama topik di konsol). Namun, ini akan mengharuskan Anda untuk mengkonfigurasi ulang konsumen Anda untuk membaca topik yang direplikasi.
Ikuti langkah-langkah berikut untuk menyiapkan topologi aktif-aktif antara kluster MSK sumber A dan kluster MSK target B.
1. Buat Replikator MSK dengan MSK cluster A sebagai sumber dan MSK cluster B sebagai target.
1. Setelah MSK Replicator di atas berhasil dibuat, buat Replicator dengan cluster B sebagai sumber dan cluster A sebagai target.
1. Buat dua set produsen, masing-masing menulis data pada saat yang sama ke dalam topik lokal (misalnya, “topik”) di cluster di wilayah yang sama dengan produser.
1. Buat dua set konsumen, masing-masing membaca data menggunakan langganan wildcard (seperti”. \$1topic”) dari cluster MSK di AWS Wilayah yang sama dengan konsumen. Dengan cara ini konsumen Anda akan secara otomatis membaca data yang dihasilkan secara lokal di Wilayah dari topik lokal (misalnya,`topic`), serta data yang direplikasi dari Wilayah lain dalam topik dengan awalan`.topic`). Kedua set konsumen ini harus memiliki kelompok konsumen yang berbeda IDs sehingga offset kelompok konsumen tidak ditimpa ketika MSK Replicator menyalinnya ke cluster lain.
Jika Anda ingin menghindari konfigurasi ulang klien Anda, alih-alih replikasi nama topik Awalan (**Tambahkan awalan ke** nama topik di konsol), Anda dapat membuat Replikator MSK menggunakan replikasi nama topik identik (**Simpan nama topik yang sama di konsol) untuk membuat pengaturan aktif-aktif**. Namun, Anda akan membayar biaya pemrosesan data dan transfer data tambahan untuk setiap Replicator. Ini karena setiap Replicator perlu memproses dua kali jumlah data yang biasa, sekali untuk replikasi dan lagi untuk mencegah loop tak terbatas. Anda dapat melacak jumlah total data yang diproses oleh setiap replikator menggunakan `ReplicatorBytesInPerSec` metrik. Lihat [Pantau replikasi](msk-replicator-monitor.md). Metrik ini mencakup data yang direplikasi ke cluster target serta data yang disaring oleh MSK Replicator untuk mencegah data diatasi kembali ke topik yang sama dengan asalnya.
**catatan**
Jika Anda menggunakan Replikasi nama topik identik (**Simpan nama topik yang sama** di konsol) untuk menyiapkan topologi aktif-aktif, tunggu setidaknya 30 detik setelah menghapus topik sebelum membuat ulang topik dengan nama yang sama. Masa tunggu ini membantu mencegah pesan duplikat direplikasi kembali ke cluster sumber. Konsumen Anda harus dapat memproses ulang pesan duplikat tanpa dampak hilir. Lihat [Pertimbangan untuk membangun aplikasi Multi-region Apache Kafka](msk-replicator-increase-resiliency.md#msk-replication-multi-region-kafka-applications).
# Bermigrasi dari satu kluster MSK Amazon ke yang lain menggunakan MSK Replicator
Anda dapat menggunakan replikasi nama topik identik untuk migrasi klaster, tetapi konsumen Anda harus dapat menangani pesan duplikat tanpa dampak hilir. Ini karena MSK Replicator menyediakan at-least-once replikasi, yang dapat menyebabkan duplikat pesan dalam skenario langka. Jika konsumen Anda memenuhi persyaratan ini, ikuti langkah-langkah ini.
1. Buat Replicator yang mereplikasi data dari cluster lama Anda ke cluster baru dengan posisi *awal Replicator disetel ke Earliest* dan menggunakan replikasi nama topik yang identik (**Simpan nama topik yang sama di konsol**).
1. Konfigurasikan pengaturan dan izin tingkat cluster pada cluster baru. Anda tidak perlu mengkonfigurasi pengaturan tingkat topik dan membaca “literal” ACLs, karena MSK Replicator secara otomatis menyalinnya.
1. Pantau `MessageLag` metrik di Amazon CloudWatch hingga mencapai 0 yang menunjukkan semua data telah direplikasi.
1. Setelah semua data direplikasi, hentikan produsen menulis data ke cluster lama.
1. Konfigurasikan ulang produsen tersebut untuk terhubung ke cluster baru dan memulainya.
1. Pantau `MaxOffsetLag` metrik untuk konsumen Anda yang membaca data dari cluster lama hingga menjadi`0`, yang menunjukkan semua data yang ada telah diproses.
1. Hentikan konsumen yang terhubung ke cluster lama.
1. Konfigurasikan ulang konsumen untuk terhubung ke cluster baru dan memulainya.
# Migrasi dari MirrorMaker 2 yang dikelola sendiri ke MSK Replicator
Untuk bermigrasi dari MirrorMaker (MM2) ke MSK Replicator, ikuti langkah-langkah berikut:
1. Hentikan produser yang menulis ke cluster MSK Amazon sumber Anda.
1. Izinkan MM2 untuk mereplikasi semua pesan pada topik kluster sumber Anda. Anda dapat memantau kelambatan konsumen untuk MM2 konsumen di kluster MSK sumber Anda untuk menentukan kapan semua data telah direplikasi.
1. Buat Replikator baru dengan posisi awal disetel ke *Terbaru* dan konfigurasi nama topik disetel ke `IDENTICAL` (**Replikasi nama topik yang sama** di konsol).
1. Setelah Replicator Anda dalam status RUNNING, Anda dapat memulai produser menulis ke cluster sumber lagi.
# Memecahkan masalah MSK Replicator
Informasi berikut dapat membantu Anda memecahkan masalah yang mungkin Anda miliki dengan MSK Replicator. Lihat [Memecahkan masalah klaster MSK Amazon Anda](troubleshooting.md) untuk informasi pemecahan masalah tentang fitur MSK Amazon lainnya. Anda juga dapat memposting masalah Anda ke [AWS re:Post](https://repost.aws/).
## Status MSK Replicator berubah dari CREATING menjadi FAILED
Berikut adalah beberapa penyebab umum kegagalan pembuatan MSK Replicator.
1. Verifikasi bahwa grup keamanan yang Anda berikan untuk pembuatan Replicator di bagian klaster Target memiliki aturan keluar untuk mengizinkan lalu lintas ke grup keamanan kluster target Anda. Juga verifikasi bahwa grup keamanan kluster target Anda memiliki aturan masuk yang menerima lalu lintas dari grup keamanan yang Anda sediakan untuk pembuatan Replicator di bagian klaster Target. Lihat [Pilih klaster target Anda](msk-replicator-create-console.md#msk-replicator-create-console-choose-target).
1. Jika Anda membuat Replicator untuk replikasi lintas wilayah, verifikasi bahwa cluster sumber Anda telah mengaktifkan konektivitas multi-VPC untuk metode autentikasi Kontrol Akses IAM. Lihat [Konektivitas privat multi-vpc Amazon MSK di satu wilayah](aws-access-mult-vpc.md). Juga verifikasi bahwa kebijakan cluster diatur pada cluster sumber sehingga MSK Replicator dapat terhubung ke cluster sumber. Lihat [Siapkan kluster sumber MSK Amazon](msk-replicator-prepare-cluster.md).
1. Verifikasi bahwa peran IAM yang Anda berikan selama pembuatan MSK Replicator memiliki izin yang diperlukan untuk membaca dan menulis ke sumber dan kluster target Anda. Juga, verifikasi bahwa peran IAM memiliki izin untuk menulis ke topik. Lihat [Konfigurasikan pengaturan dan izin replikator](msk-replicator-create-console.md#msk-replicator-create-settings)
1. Verifikasi bahwa jaringan ACLs Anda tidak memblokir koneksi antara Replikator MSK dan kluster sumber dan target Anda.
1. Ada kemungkinan bahwa sumber atau cluster target tidak sepenuhnya tersedia ketika MSK Replicator mencoba untuk terhubung ke mereka. Ini mungkin karena beban yang berlebihan, penggunaan disk atau penggunaan CPU, yang menyebabkan Replicator tidak dapat terhubung ke broker. Perbaiki masalah dengan broker dan coba lagi pembuatan Replicator.
Setelah Anda melakukan validasi di atas, buat MSK Replicator lagi.
## MSK Replicator tampak macet dalam status CREATING
Terkadang pembuatan MSK Replicator dapat memakan waktu hingga 30 menit. Tunggu selama 30 menit dan periksa status Replicator lagi.
## MSK Replicator tidak mereplikasi data atau mereplikasi hanya sebagian data
Ikuti langkah-langkah ini untuk memecahkan masalah replikasi data.
1. Verifikasi bahwa Replicator Anda tidak mengalami kesalahan otentikasi menggunakan AuthError metrik yang disediakan oleh MSK Replicator di Amazon. CloudWatch Jika metrik ini di atas 0, periksa apakah kebijakan peran IAM yang Anda berikan untuk replikator valid dan tidak ada izin penolakan yang ditetapkan untuk izin klaster. Berdasarkan dimensi ClusterAlias, Anda dapat mengidentifikasi apakah sumber atau kluster target mengalami kesalahan otentikasi.
1. Verifikasi bahwa sumber dan kluster target Anda tidak mengalami masalah apa pun. Ada kemungkinan bahwa Replicator tidak dapat terhubung ke sumber atau cluster target Anda. Ini mungkin terjadi karena terlalu banyak koneksi, disk pada kapasitas penuh atau penggunaan CPU yang tinggi.
1. Verifikasi bahwa sumber dan kluster target Anda dapat dijangkau dari MSK Replicator menggunakan metrik di Amazon. KafkaClusterPingSuccessCount CloudWatch Berdasarkan dimensi ClusterAlias, Anda dapat mengidentifikasi apakah sumber atau kluster target mengalami kesalahan autentikasi. Jika metrik ini 0 atau tidak memiliki titik data, koneksi tidak sehat. Anda harus memeriksa izin peran jaringan dan IAM yang digunakan MSK Replicator untuk terhubung ke cluster Anda.
1. Pastikan Replicator Anda tidak mengalami kegagalan karena izin tingkat topik yang hilang menggunakan metrik di Amazon. ReplicatorFailure CloudWatch Jika metrik ini di atas 0, periksa peran IAM yang Anda berikan untuk izin tingkat topik.
1. Verifikasi bahwa ekspresi reguler yang Anda berikan dalam daftar izinkan saat membuat Replikator cocok dengan nama topik yang ingin Anda tiru. Juga, verifikasi bahwa topik tidak dikecualikan dari replikasi karena ekspresi reguler dalam daftar penolakan.
1. Perhatikan bahwa mungkin diperlukan waktu hingga 30 detik bagi Replicator untuk mendeteksi dan membuat topik baru atau partisi topik pada cluster target. Setiap pesan yang dihasilkan ke topik sumber sebelum topik dibuat di kluster target tidak akan direplikasi jika posisi awal replikator terbaru (default). Atau, Anda dapat memulai replikasi dari offset paling awal di partisi topik cluster sumber jika Anda ingin mereplikasi pesan yang ada pada topik Anda di kluster target. Lihat [Konfigurasikan pengaturan dan izin replikator](msk-replicator-create-console.md#msk-replicator-create-settings).
## Offset pesan di cluster target berbeda dari cluster sumber
Sebagai bagian dari mereplikasi data, MSK Replicator mengkonsumsi pesan dari cluster sumber dan memproduksinya ke cluster target. Hal ini dapat menyebabkan pesan memiliki offset yang berbeda pada sumber dan kluster target Anda. Namun, jika Anda telah mengaktifkan sinkronisasi offset grup konsumen selama pembuatan Replicator, MSK Replicator akan secara otomatis menerjemahkan offset saat menyalin metadata sehingga setelah gagal ke cluster target, konsumen Anda dapat melanjutkan pemrosesan dari dekat tempat mereka tinggalkan di cluster sumber.
## MSK Replicator tidak menyinkronkan offset grup konsumen atau grup konsumen tidak ada pada cluster target
Ikuti langkah-langkah ini untuk memecahkan masalah replikasi metadata.
1. Verifikasi bahwa replikasi data Anda berfungsi seperti yang diharapkan. Jika belum, lihat [MSK Replicator tidak mereplikasi data atau mereplikasi hanya sebagian data](#msk-replicator-troubleshooting-not-replicating).
1. Verifikasi bahwa ekspresi reguler yang Anda berikan dalam daftar izinkan saat membuat Replicator cocok dengan nama grup konsumen yang ingin Anda tiru. Juga, verifikasi bahwa kelompok konsumen tidak dikecualikan dari replikasi karena ekspresi reguler dalam daftar penolakan.
1. Verifikasi bahwa MSK Replicator telah membuat topik pada cluster target. Diperlukan waktu hingga 30 detik bagi Replicator untuk mendeteksi dan membuat topik baru atau partisi topik pada cluster target. Setiap pesan yang dihasilkan ke topik sumber sebelum topik dibuat di kluster target tidak akan direplikasi jika posisi awal replikator *terbaru* (default). Jika kelompok konsumen Anda di cluster sumber hanya mengkonsumsi mesages yang belum direplikasi oleh MSK Replicator, grup konsumen tidak akan direplikasi ke cluster target. Setelah topik berhasil dibuat di cluster target, MSK Replicator akan mulai mereplikasi pesan yang baru ditulis di cluster sumber ke target. Setelah grup konsumen Anda mulai membaca pesan-pesan ini dari sumbernya, MSK Replicator akan secara otomatis mereplikasi grup konsumen ke cluster target. Atau, Anda dapat memulai replikasi dari offset paling awal di partisi topik cluster sumber jika Anda ingin mereplikasi pesan yang ada pada topik Anda di kluster target. Lihat [Konfigurasikan pengaturan dan izin replikator](msk-replicator-create-console.md#msk-replicator-create-settings).
**catatan**
MSK Replicator mengoptimalkan sinkronisasi offset grup konsumen untuk konsumen Anda di cluster sumber yang membaca dari posisi yang lebih dekat ke akhir partisi topik. Jika grup konsumen Anda tertinggal di cluster sumber, Anda mungkin melihat lag yang lebih tinggi untuk kelompok konsumen pada target dibandingkan dengan sumbernya. Ini berarti setelah failover ke cluster target, konsumen Anda akan memproses ulang lebih banyak pesan duplikat. Untuk mengurangi lag ini, konsumen Anda di cluster sumber perlu mengejar ketinggalan dan mulai mengkonsumsi dari ujung aliran (akhir partisi topik). Saat konsumen Anda mengejar ketinggalan, MSK Replicator akan secara otomatis mengurangi lag.
## Latensi replikasi tinggi atau terus meningkat
Berikut adalah beberapa penyebab umum latensi replikasi yang tinggi.
1. Verifikasi bahwa Anda memiliki jumlah partisi yang tepat pada sumber dan target kluster MSK Anda. Memiliki terlalu sedikit atau terlalu banyak partisi dapat memengaruhi kinerja. Untuk panduan memilih jumlah partisi, lihat[Praktik terbaik untuk menggunakan MSK Replicator](msk-replicator-best-practices.md). Tabel berikut menunjukkan jumlah minimum partisi yang disarankan untuk mendapatkan throughput yang Anda inginkan dengan MSK Replicator.
**Throughput dan jumlah minimum partisi yang disarankan**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/msk/latest/developerguide/msk-replicator-troubleshooting.html)
1. Verifikasi bahwa Anda memiliki kapasitas baca dan tulis yang cukup di sumber dan target kluster MSK Anda untuk mendukung lalu lintas replikasi. MSK Replicator bertindak sebagai konsumen untuk cluster sumber Anda (jalan keluar) dan sebagai produsen untuk cluster target Anda (ingress). Oleh karena itu, Anda harus menyediakan kapasitas cluster untuk mendukung lalu lintas replikasi serta lalu lintas lain di cluster Anda. Lihat [Praktik terbaik untuk menggunakan MSK Replicator](msk-replicator-best-practices.md) panduan tentang ukuran kluster MSK Anda.
1. Latensi replikasi dapat bervariasi untuk kluster MSK di pasangan AWS Wilayah sumber dan tujuan yang berbeda, tergantung pada seberapa jauh jarak cluster secara geografis satu sama lain. Misalnya, latensi Replikasi biasanya lebih rendah ketika mereplikasi antara cluster di Wilayah Eropa (Irlandia) dan Eropa (London) dibandingkan dengan replikasi antara cluster di Wilayah Eropa (Irlandia) dan Asia Pasifik (Sydney).
1. Verifikasi bahwa Replicator Anda tidak terhambat karena kuota terlalu agresif yang ditetapkan pada sumber atau kluster target Anda. Anda dapat menggunakan ThrottleTime metrik yang disediakan oleh MSK Replicator di Amazon CloudWatch untuk melihat waktu rata-rata dalam milidetik permintaan dibatasi oleh broker di cluster Anda. source/target Jika metrik ini di atas 0, Anda harus menyesuaikan kuota Kafka untuk mengurangi pelambatan sehingga Replicator dapat mengejar ketinggalan. Lihat [Mengelola throughput MSK Replicator menggunakan kuota Kafka](msk-replicator-best-practices.md#msk-replicator-manage-throughput-kafka-quotas) untuk informasi tentang mengelola kuota Kafka untuk Replicator.
1. ReplicationLatency dan MessageLag mungkin meningkat ketika suatu AWS Wilayah menjadi terdegradasi. Gunakan [AWS Service Health Dashboard](https://health.aws.amazon.com/health/status) untuk memeriksa acara layanan MSK di Wilayah tempat klaster MSK utama Anda berada. Jika ada acara layanan, Anda dapat mengalihkan sementara aplikasi Anda membaca dan menulis ke Wilayah lain.
## Memecahkan masalah kegagalan MSK Replicator menggunakan metrik ReplicatorFailure
ReplicatorFailure Metrik ini membantu Anda memantau dan mendeteksi masalah replikasi di MSK Replicator. Nilai bukan nol dari metrik ini biasanya menunjukkan masalah kegagalan replikasi, yang mungkin diakibatkan oleh faktor-faktor berikut:
+ keterbatasan ukuran pesan
+ pelanggaran rentang stempel waktu
+ merekam masalah ukuran batch
Jika ReplicatorFailure metrik melaporkan nilai bukan nol, ikuti langkah-langkah berikut untuk memecahkan masalah.
**catatan**
Untuk informasi selengkapnya tentang metrik ini, lihat [Metrik Replikator MSK](msk-replicator-monitor.md#msk-replicator-metrics).
1. Konfigurasikan klien yang dapat terhubung ke cluster MSK target dan memiliki pengaturan alat CLI Apache Kafka. Untuk informasi tentang pengaturan klien dan alat CLI Kafka, lihat. [Connect ke kluster Amazon MSK Provisioned](client-access.md)
1. Buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
Kemudian, lakukan hal berikut:
1. Dapatkan MSK Replicator dan target MSK cluster. ARNs
1. [Dapatkan titik akhir broker](get-bootstrap-console.md) dari kluster MSK target. Anda akan menggunakan titik akhir ini dalam langkah-langkah berikut.
1. Jalankan perintah berikut untuk mengekspor ARN Replikator MSK dan titik akhir broker yang Anda peroleh pada langkah sebelumnya.
Pastikan Anda mengganti nilai placeholder untuk < *ReplicatorARN* >, < >, dan < *BootstrapServerString* *ConsumerConfigFile* > yang digunakan dalam contoh berikut dengan nilai aktualnya.
```
export TARGET_CLUSTER_SERVER_STRING=
```
```
export REPLICATOR_ARN=
```
```
export CONSUMER_CONFIG_FILE=
```
1. Di `/bin` direktori Anda, lakukan hal berikut:
1. Simpan skrip berikut dan beri nama**query-replicator-failure-message.sh**.
```
#!/bin/bash
# Script: Query MSK Replicator Failure Message
# Description: This script queries exceptions from AWS MSK Replicator status topics
# It takes a replicator ARN and bootstrap server as input and searches for replicator exceptions
# in the replicator's status topic, formatting and displaying them in a readable manner
#
# Required Arguments:
# --replicator-arn: The ARN of the AWS MSK Replicator
# --bootstrap-server: The Kafka bootstrap server to connect to
# --consumer.config: Consumer config properties file
# Usage Example:
# ./query-replicator-failure-message.sh ./query-replicator-failure-message.sh --replicator-arn --bootstrap-server --consumer.config
print_usage() {
echo "USAGE: $0 ./query-replicator-failure-message.sh --replicator-arn --bootstrap-server --consumer.config "
echo "--replicator-arn REQUIRED: The ARN of AWS MSK Replicator."
echo "--bootstrap-server REQUIRED: The Kafka server to connect to."
echo "--consumer.config REQUIRED: Consumer config properties file."
exit 1
}
# Initialize variables
replicator_arn=""
bootstrap_server=""
consumer_config=""
# Parse arguments
while [[ $# -gt 0 ]]; do
case "$1" in
--replicator-arn)
if [ -z "$2" ]; then
echo "Error: --replicator-arn requires an argument."
print_usage
fi
replicator_arn="$2"; shift 2 ;;
--bootstrap-server)
if [ -z "$2" ]; then
echo "Error: --bootstrap-server requires an argument."
print_usage
fi
bootstrap_server="$2"; shift 2 ;;
--consumer.config)
if [ -z "$2" ]; then
echo "Error: --consumer.config requires an argument."
print_usage
fi
consumer_config="$2"; shift 2 ;;
*) echo "Unknown option: $1"; print_usage ;;
esac
done
# Check for required arguments
if [ -z "$replicator_arn" ] || [ -z "$bootstrap_server" ] || [ -z "$consumer_config" ]; then
echo "Error: --replicator-arn, --bootstrap-server, and --consumer.config are required."
print_usage
fi
# Extract replicator name and suffix from ARN
replicator_arn_suffix=$(echo "$replicator_arn" | awk -F'/' '{print $NF}')
replicator_name=$(echo "$replicator_arn" | awk -F'/' '{print $(NF-1)}')
echo "Replicator name: $replicator_name"
# List topics and find the status topic
topics=$(./kafka-topics.sh --command-config client.properties --list --bootstrap-server "$bootstrap_server")
status_topic_name="__amazon_msk_replicator_status_${replicator_name}_${replicator_arn_suffix}"
# Check if the status topic exists
if echo "$topics" | grep -Fq "$status_topic_name"; then
echo "Found replicator status topic: '$status_topic_name'"
./kafka-console-consumer.sh --bootstrap-server "$bootstrap_server" --consumer.config "$consumer_config" --topic "$status_topic_name" --from-beginning | stdbuf -oL grep "Exception" | stdbuf -oL sed -n 's/.*Exception:\(.*\) Topic: \([^,]*\), Partition: \([^\]*\).*/ReplicatorException:\1 Topic: \2, Partition: \3/p'
else
echo "No topic matching the pattern '$status_topic_name' found."
fi
```
1. Jalankan skrip ini untuk menanyakan pesan kegagalan MSK Replicator.
```
/bin/query-replicator-failure-message.sh --replicator-arn $REPLICATOR_ARN --bootstrap-server $TARGET_CLUSTER_SERVER_STRING --consumer.config $CONSUMER_CONFIG_FILE
```
Skrip ini menampilkan semua kesalahan dengan pesan pengecualian dan partisi topik yang terpengaruh. Anda dapat menggunakan informasi pengecualian ini untuk mengurangi kegagalan seperti yang dijelaskan dalam. [Kegagalan MSK Replicator umum dan solusinya](#msk-replicator-ReplicatorFailure-error-mitigation) Karena topik berisi semua pesan kegagalan historis, mulailah penyelidikan menggunakan pesan terakhir. Berikut ini adalah contoh pesan kegagalan.
```
ReplicatorException: The request included a message larger than the max message size the server will accept. Topic: test, Partition: 1
```
### Kegagalan MSK Replicator umum dan solusinya
Daftar berikut menjelaskan beberapa kegagalan MSK Replicator yang mungkin Anda alami dan cara menguranginya.
**Ukuran pesan lebih besar dari max.request.size**
**Penyebab**
Kegagalan ini terjadi ketika MSK Replicator gagal mereplikasi data karena ukuran pesan individual melebihi 10 MB. Secara default, MSK Replicator mereplikasi pesan hingga ukuran 10 MB.
Berikut ini adalah contoh dari jenis pesan kegagalan ini.
```
ReplicatorException: The message is 20635370 bytes when serialized which is larger than 10485760, which is the value of the max.request.size configuration. Topic: test, Partition: 1
```
**Solusi**
Kurangi ukuran pesan individual dalam topik Anda. Jika Anda tidak dapat melakukannya, ikuti petunjuk ini untuk [meminta kenaikan batas](limits.md#request-msk-quota-increase).
**Ukuran pesan lebih besar dari ukuran pesan maksimal yang akan diterima server**
**Penyebab**
Kegagalan ini terjadi ketika ukuran pesan melebihi ukuran pesan maksimum kluster target.
Berikut ini adalah contoh dari jenis pesan kegagalan ini.
```
ReplicatorException: The request included a message larger than the max message size the server will accept. Topic: test, Partition: 1
```
**Solusi**
Tingkatkan `max.message.bytes` konfigurasi pada cluster target atau topik cluster target yang sesuai. Tetapkan `max.message.bytes` konfigurasi kluster target agar sesuai dengan ukuran pesan terkompresi terbesar Anda. Untuk informasi tentang melakukan hal ini, lihat [max.message.bytes.](https://kafka.apache.org/documentation/#topicconfigs_max.message.bytes)
**Timestamp berada di luar jangkauan**
**Penyebab**
Kegagalan ini terjadi karena stempel waktu pesan individu berada di luar rentang yang diizinkan cluster target.
Berikut ini adalah contoh dari jenis pesan kegagalan ini.
```
ReplicatorException: Timestamp 1730137653724 of message with offset 0 is out of range. The timestamp should be within [1730137892239, 1731347492239] Topic: test, Partition: 1
```
**Solusi**
Perbarui `message.timestamp.before.max.ms` konfigurasi kluster target untuk memungkinkan pesan dengan stempel waktu yang lebih lama. Untuk informasi tentang melakukan hal ini, lihat [message.timestamp.before.max.ms](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.before.max.ms).
**Rekam batch terlalu besar**
**Penyebab**
Kegagalan ini terjadi karena ukuran batch rekaman melebihi ukuran segmen yang ditetapkan untuk topik pada cluster target. MSK Replicator mendukung ukuran batch maksimum 1 MB.
Berikut ini adalah contoh dari jenis pesan kegagalan ini.
```
ReplicatorException: The request included message batch larger than the configured segment size on the server. Topic: test, Partition: 1
```
**Solusi**
Konfigurasi segment.bytes cluster target harus setidaknya sebesar ukuran batch (1 MB) agar Replicator dapat melanjutkan tanpa kesalahan. Perbarui segment.bytes cluster target menjadi setidaknya 1048576 (1 MB). Untuk informasi tentang melakukan hal ini, lihat [segment.bytes](https://kafka.apache.org/documentation/#topicconfigs_segment.bytes).
**catatan**
Jika ReplicatorFailure metrik terus memancarkan nilai bukan nol setelah menerapkan solusi ini, ulangi proses pemecahan masalah hingga metrik memancarkan nilai nol.
# Praktik terbaik untuk menggunakan MSK Replicator
Bagian ini mencakup praktik terbaik umum dan strategi implementasi untuk menggunakan Amazon MSK Replicator.
**Contents**
+ [
## Mengelola throughput MSK Replicator menggunakan kuota Kafka
](#msk-replicator-manage-throughput-kafka-quotas)
+ [
## Mengatur periode retensi cluster
](#msk-replicator-retention-period)
## Mengelola throughput MSK Replicator menggunakan kuota Kafka
Karena MSK Replicator bertindak sebagai konsumen untuk cluster sumber Anda, replikasi dapat menyebabkan konsumen lain terhambat pada cluster sumber Anda. Jumlah pelambatan tergantung pada kapasitas baca yang Anda miliki di cluster sumber Anda dan throughput data yang Anda replikasi. Kami menyarankan agar penyediaan Anda memiliki kapasitas yang sama untuk cluster sumber dan target Anda, dan memperhitungkan throughput replikasi saat menghitung berapa banyak kapasitas yang Anda butuhkan.
Anda juga dapat mengatur kuota Kafka untuk Replicator pada sumber dan kluster target Anda untuk mengontrol berapa banyak kapasitas yang dapat digunakan oleh Replikator MSK. Direkomendasikan kuota bandwidth jaringan. Kuota bandwidth jaringan mendefinisikan ambang batas byte, didefinisikan sebagai byte per detik, untuk satu atau lebih klien yang berbagi kuota. Kuota ini didefinisikan berdasarkan per-broker.
Ikuti langkah-langkah berikut untuk menerapkan kuota.
1. Ambil string server bootstrap untuk cluster sumber. Lihat [Dapatkan broker bootstrap untuk cluster MSK Amazon](msk-get-bootstrap-brokers.md).
1. Ambil peran eksekusi layanan (SER) yang digunakan oleh MSK Replicator. Ini adalah SER yang Anda gunakan untuk `CreateReplicator` permintaan. Anda juga dapat menarik SER dari DescribeReplicator respons dari Replicator yang ada.
1. Menggunakan alat Kafka CLI, jalankan perintah berikut terhadap cluster sumber.
```
./kafka-configs.sh --bootstrap-server --alter --add-config 'consumer_byte_
rate=' --entity-type users --entity-name arn:aws:sts:::assumed-role// --command-config
```
1. Setelah menjalankan perintah di atas, verifikasi bahwa `ReplicatorThroughput` metrik tidak melewati kuota yang telah Anda tetapkan.
Perhatikan bahwa jika Anda menggunakan kembali peran eksekusi layanan antara beberapa Replikator MSK, semuanya tunduk pada kuota ini. Jika Anda ingin mempertahankan kuota terpisah per Replicator, gunakan peran eksekusi layanan terpisah.
Untuk informasi lebih lanjut tentang menggunakan otentikasi MSK IAM dengan kuota, lihat [Multi-tenancy Apache Kafka cluster di Amazon MSK dengan kontrol akses IAM dan Kafka](https://aws.amazon.com/blogs/big-data/multi-tenancy-apache-kafka-clusters-in-amazon-msk-with-iam-access-control-and-kafka-quotas-part-1/) Quota - Bagian 1.
**Awas**
Menyetel consumer\$1byte\$1rate yang sangat rendah dapat menyebabkan Replikator MSK Anda bertindak dengan cara yang tidak terduga.
## Mengatur periode retensi cluster
Anda dapat mengatur periode retensi log untuk kluster yang disediakan MSK dan tanpa server. Periode retensi yang disarankan adalah 7 hari. Lihat [Perubahan konfigurasi cluster](msk-replicator-serverless-requirements.md#msk-replicator-config-changes) atau [Konfigurasi kluster MSK Tanpa Server yang didukung](msk-replicator-serverless-requirements.md).