View a markdown version of this page

Konfigurasi Amazon MSK default - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasi Amazon MSK default

Saat Anda membuat cluster MSK dan tidak menentukan konfigurasi MSK kustom, Amazon MSK membuat dan menggunakan konfigurasi default dengan nilai-nilai yang ditunjukkan pada tabel berikut. Untuk properti yang tidak ada dalam tabel ini, Amazon MSK menggunakan default yang terkait dengan versi Apache Kafka Anda. Untuk daftar nilai default ini, lihat Konfigur asi Apache Kafka.

Nama Deskripsi Nilai default untuk cluster penyimpanan non-berjenjang Nilai default untuk cluster berkemampuan penyimpanan berjenjang
izinkan semua orang.jika.no.acl.ditemukan Jika tidak ada pola sumber daya yang cocok dengan sumber daya tertentu, sumber daya tidak memiliki ACL terkait. Dalam hal ini, jika Anda mengatur properti ini ketrue, semua pengguna dapat mengakses sumber daya, bukan hanya pengguna super.true true
auto.create.topics.enable Memungkinkan pembuatan otomatis topik di server. false false
auto.leader.rebalance.enable Memungkinkan penyeimbangan pemimpin otomatis. Sebuah thread latar belakang memeriksa dan memulai keseimbangan pemimpin secara berkala, jika perlu. true true
default.replikasi.faktor Faktor replikasi default untuk topik yang dibuat secara otomatis. 3 untuk cluster di 3 Zona Ketersediaan, dan 2 untuk cluster di 2 Zona Ketersediaan. 3 untuk cluster di 3 Zona Ketersediaan, dan 2 untuk cluster di 2 Zona Ketersediaan.

lokal.retention.byte

Ukuran maksimum segmen log lokal untuk partisi sebelum menghapus segmen lama. Jika Anda tidak menetapkan nilai ini, nilai di log.retention.bytes digunakan. Nilai efektif harus selalu kurang dari atau sama dengan nilai log.retention.bytes. Nilai default -2 menunjukkan bahwa tidak ada batasan pada retensi lokal. Ini sesuai dengan retensi. ms/bytes Pengaturan -1. Properti local.retention.ms dan local.retention.bytes mirip dengan log.retention karena digunakan untuk menentukan berapa lama segmen log harus tetap berada di penyimpanan lokal. Konfigurasi log.retention.* yang ada adalah konfigurasi retensi untuk partisi topik. Ini termasuk penyimpanan lokal dan jarak jauh. Nilai yang valid: bilangan bulat di [-2; +Inf]

-2 untuk tidak terbatas -2 untuk tidak terbatas

lokal.retention.ms

Jumlah milidetik untuk mempertahankan segmen log lokal sebelum penghapusan. Jika Anda tidak menetapkan nilai ini, Amazon MSK menggunakan nilai di log.retention.ms. Nilai efektif harus selalu kurang dari atau sama dengan nilai log.retention.bytes. Nilai default -2 menunjukkan bahwa tidak ada batasan pada retensi lokal. Ini sesuai dengan retensi. ms/bytes Pengaturan -1.

Nilai local.retention.ms dan local.retention.bytes mirip dengan log.retention. MSK menggunakan konfigurasi ini untuk menentukan berapa lama segmen log harus tetap berada di penyimpanan lokal. Konfigurasi log.retention.* yang ada adalah konfigurasi retensi untuk partisi topik. Ini termasuk penyimpanan lokal dan jarak jauh. Nilai yang valid adalah bilangan bulat yang lebih besar dari 0.
-2 untuk tidak terbatas -2 untuk tidak terbatas

log.pesan.timestamp.perbedaan.max.ms

Konfigurasi ini tidak digunakan lagi di Kafka 3.6.0. Dua konfigurasi, log.message.timestamp.before.max.ms danlog.message.timestamp.after.max.ms, telah ditambahkan. Perbedaan maksimum yang diizinkan antara stempel waktu ketika broker menerima pesan dan stempel waktu yang ditentukan dalam pesan. Jika log.message.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas ini. Konfigurasi ini diabaikan jika log.message.timestamp.type=LogAppendTime. Perbedaan stempel waktu maksimum yang diizinkan tidak boleh lebih besar dari log.retention.ms untuk menghindari penggulungan log yang tidak perlu sering. 9223372036854775807 86400000 untuk Kafka 2.8.2.bertingkat dan Kafka 3.7.x berjenjang.
log.segment.byte Ukuran maksimum dari satu file log. 1073741824 134217728
min.insync.replika

Ketika produsen menetapkan nilai acks (pembuat pengakuan yang didapat dari broker Kafka) ke "all" (atau"-1"), nilai dalam min.insync.replicas menentukan jumlah minimum replika yang harus mengakui penulisan agar penulisan dianggap berhasil. Jika nilai ini tidak memenuhi minimum ini, produsen mengajukan pengecualian (baik NotEnoughReplicas atau NotEnoughReplicasAfterAppend).

Saat Anda menggunakan nilai di min.insync.replicas dan acks bersama-sama, Anda dapat menerapkan jaminan daya tahan yang lebih besar. Misalnya, Anda dapat membuat topik dengan faktor replikasi 3, mengatur min.insync.replicas ke 2, dan menghasilkan dengan acks of. "all" Ini memastikan bahwa produsen mengajukan pengecualian jika sebagian besar replika tidak menerima tulisan.

2 untuk cluster di 3 Zona Ketersediaan, dan 1 untuk cluster di 2 Zona Ketersediaan. 2 untuk cluster di 3 Zona Ketersediaan, dan 1 untuk cluster di 2 Zona Ketersediaan.
nom.io.thread Jumlah thread yang digunakan server untuk menghasilkan permintaan, yang mungkin termasuk disk I/O. 8 maks (8, vCPU) di mana vCPU bergantung pada ukuran instance broker
nom.network.thread Jumlah thread yang digunakan server untuk menerima permintaan dari jaringan dan mengirim respons ke jaringan. 5 maks (5, vCPU/2) di mana vCPU bergantung pada ukuran instance broker
nom.partisi Jumlah partisi log default per topik. 1 1
nom.replica.fetcher Jumlah thread fetcher yang digunakan untuk mereplikasi pesan dari broker sumber.Jika Anda meningkatkan nilai ini, Anda dapat meningkatkan tingkat I/O paralelisme di broker pengikut. 2 maks (2, vCPU/ 4) di mana vCPU bergantung pada ukuran instance broker

.log.msk.disable.policy jarak jauh

Digunakan dengan remote.storage.enable untuk menonaktifkan penyimpanan berjenjang. Setel kebijakan ini ke Hapus, untuk menunjukkan bahwa data dalam penyimpanan berjenjang dihapus saat Anda menyetel remote.storage.enable ke false.

N/A Tidak ada
.log.reader.thread jarak jauh Ukuran kumpulan thread pembaca log jarak jauh, yang digunakan dalam penjadwalan tugas untuk mengambil data dari penyimpanan jarak jauh. N/A maks (10, vCPU * 0,67) di mana vCPU bergantung pada ukuran instance broker

remote.storage.enable

Mengaktifkan penyimpanan berjenjang (jarak jauh) untuk topik jika disetel ke true. Menonaktifkan penyimpanan berjenjang tingkat topik jika disetel ke false dan remote.log.msk.disable.policy disetel ke Hapus. Saat menonaktifkan penyimpanan berjenjang, Anda menghapus data dari penyimpanan jarak jauh. Saat menonaktifkan penyimpanan berjenjang untuk topik, Anda tidak dapat mengaktifkannya lagi. false false
replika.lag.time.max.ms Jika pengikut belum mengirim permintaan pengambilan apa pun atau belum menghabiskan hingga offset akhir log pemimpin setidaknya selama jumlah milidetik ini, pemimpin menghapus pengikut dari ISR. 30000 30000

retensi.ms

Bidang wajib. Waktu minimum adalah 3 hari. Tidak ada default karena pengaturannya wajib.

Amazon MSK menggunakan nilai retention.ms dengan local.retention.ms untuk menentukan kapan data berpindah dari penyimpanan lokal ke penyimpanan berjenjang. Nilai local.retention.ms menentukan kapan harus memindahkan data dari penyimpanan lokal ke penyimpanan berjenjang. Nilai retention.ms menentukan kapan harus menghapus data dari penyimpanan berjenjang (yaitu, dihapus dari cluster). Nilai yang valid: bilangan bulat di [-1; +Inf]

Minimal 259.200.000 milidetik (3 hari). -1 untuk retensi tak terbatas. Minimal 259.200.000 milidetik (3 hari). -1 untuk retensi tak terbatas.
socket.receive.buffer.byte Buffer SO_RCVBUF dari soket pemutus soket. Jika nilainya -1, default OS digunakan. 102400 102400
socket.request.max.byte Jumlah maksimum byte dalam permintaan soket. 104857600 104857600
socket.send.buffer.byte Buffer SO_SNDBUF dari soket pemutus soket. Jika nilainya -1, default OS digunakan. 102400 102400
unclean.leader.election.enable Menunjukkan jika Anda ingin replika yang tidak ada dalam set ISR berfungsi sebagai pemimpin sebagai upaya terakhir, meskipun hal ini dapat mengakibatkan hilangnya data. true SALAH
zookeeper.session.timeout.ms

Waktu tunggu ZooKeeper sesi Apache dalam milidetik.

18000 18000
zookeeper.set.acl Klien yang disetel untuk menggunakan ACL aman. false false

Untuk informasi tentang cara menentukan nilai konfigurasi khusus, lihatKonfigurasi Amazon MSK khusus.