Konfigurasi broker MSK Express khusus (Read/Write akses)

izinkan semua orang.jika.no.acl.ditemukan

Jika Anda ingin mengatur properti ini ke false, pertama-tama pastikan Anda mendefinisikan ACL Apache Kafka untuk cluster Anda. Jika Anda menyetel properti ini ke false dan Anda tidak terlebih dahulu mendefinisikan ACL Apache Kafka, Anda kehilangan akses ke cluster. Jika itu terjadi, Anda dapat memperbarui konfigurasi lagi dan mengatur properti ini ke true untuk mendapatkan kembali akses ke cluster.

true

auto.create.topics.enable

Memungkinkan pembuatan otomatis topik di server.

false

Tentukan jenis kompresi akhir untuk topik tertentu. Konfigurasi ini menerima codec kompresi standar: gzip, snappy, lz4, zstd.

Konfigurasi ini juga menerimauncompressed, yang setara dengan tidak ada kompresi; danproducer, yang berarti mempertahankan codec kompresi asli yang ditetapkan oleh produsen.

koneksi.max.idle.ms

Waktu habis koneksi idle dalam milidetik. Utas prosesor soket server menutup koneksi yang tidak aktif selama lebih dari nilai yang Anda tetapkan untuk properti ini.

Apache Kafka Standar

kustom.diiklan.pendengar

Mengkonfigurasi nama domain khusus untuk pendengar yang menghadap klien di cluster Amazon MSK Anda. Amazon MSK secara otomatis menerapkan konfigurasi ke setiap broker, termasuk broker baru yang ditambahkan selama penskalaan atau penggantian. Bekerja pada kedua ZooKeeper dan klaster Kraft. Contoh format:LISTENER_NAME://b-{broker_id}.kafka.mycompany.com:9000+{broker_id}.

Nama pendengar yang diizinkan adalahCLIENT,CLIENT_SECURE,CLIENT_SECURE_PUBLIC,CLIENT_SASL_SCRAM,CLIENT_SASL_SCRAM_PUBLIC,CLIENT_IAM, danCLIENT_IAM_PUBLIC.

Untuk informasi selengkapnya, lihat Konfigurasikan nama domain khusus untuk cluster Amazon MSK Anda.

Tidak ada (dinonaktifkan)

hapus.topic.enable

Mengaktifkan operasi hapus topik. Jika Anda menonaktifkan pengaturan ini, Anda tidak dapat menghapus topik melalui alat admin.

Apache Kafka Standar

grup.initial.rebalance.delay.ms

Jumlah waktu koordinator grup menunggu lebih banyak konsumen data untuk bergabung dengan grup baru sebelum koordinator grup melakukan rebalance pertama. Penundaan yang lebih lama berarti penyeimbangan ulang yang berpotensi lebih sedikit, tetapi ini meningkatkan waktu hingga pemrosesan dimulai.

Apache Kafka Standar

grup.max.session.timeout.ms

Waktu tunggu sesi maksimum untuk konsumen terdaftar. Waktu tunggu yang lebih lama memberi konsumen lebih banyak waktu untuk memproses pesan antara detak jantung dengan mengorbankan waktu yang lebih lama untuk mendeteksi kegagalan.

Apache Kafka Standar

leader.imbalance.per.broker.persen

Rasio ketidakseimbangan pemimpin diperbolehkan per broker. Pengontrol memicu saldo pemimpin jika melebihi nilai ini per broker. Nilai ini ditentukan dalam persentase.

Apache Kafka Standar

Perbedaan stempel waktu yang diijinkan antara stempel waktu pesan dan stempel waktu broker. Stempel waktu pesan dapat lebih lambat dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini.

Jikalog.message.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikalog.message.timestamp.type=LogAppendTime.

Perbedaan stempel waktu yang diijinkan antara cap waktu broker dan stempel waktu pesan. Stempel waktu pesan dapat lebih awal dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini.

Jikalog.message.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikalog.message.timestamp.type=LogAppendTime.

maks.incremental.fetch.session.cache.slots

Jumlah maksimum sesi pengambilan tambahan yang dipertahankan.

Apache Kafka Standar

Ukuran batch rekaman terbesar yang diizinkan Kafka. Jika Anda meningkatkan nilai ini dan ada konsumen yang lebih tua dari 0.10.2, Anda juga harus meningkatkan ukuran pengambilan konsumen sehingga mereka dapat mengambil batch rekaman sebesar ini.

Versi format pesan terbaru selalu mengelompokkan pesan ke dalam batch untuk efisiensi. Versi format pesan sebelumnya tidak mengelompokkan catatan yang tidak terkompresi ke dalam batch, dan dalam kasus seperti itu, batas ini hanya berlaku untuk satu catatan. Anda dapat mengatur nilai ini per topik dengan max.message.bytes konfigurasi tingkat topik.

nom.partisi

Jumlah partisi default per topik.

1

offset. retensi.menit

Setelah kelompok konsumen kehilangan semua konsumennya (yaitu, menjadi kosong), pengimbangannya disimpan untuk periode retensi ini sebelum dibuang. Untuk konsumen mandiri (yaitu, mereka yang menggunakan penugasan manual), offset berakhir setelah waktu komit terakhir ditambah periode retensi ini.

Apache Kafka Standar

replica.fetch.max.byte

Jumlah byte pesan untuk mencoba mengambil untuk setiap partisi. Ini bukan maksimum mutlak. Jika kumpulan rekaman pertama di partisi pertama yang tidak kosong dari pengambilan lebih besar dari nilai ini, kumpulan rekaman dikembalikan untuk memastikan kemajuan. Message.max.bytes (config broker) atau max.message.bytes (config topik) menentukan ukuran batch record maksimum yang diterima broker.

Apache Kafka Standar

kelas replika.seleksi

Nama kelas yang memenuhi syarat yang diimplementasikan ReplicaSelector. Pialang menggunakan nilai ini untuk menemukan replika baca yang disukai. Jika Anda ingin mengizinkan konsumen mengambil dari replika terdekat, setel properti ini keorg.apache.kafka.common.replica.RackAwareReplicaSelector.

Apache Kafka Standar

socket.receive.buffer.byte

Buffer SO_RCVBUF dari soket pemutus soket. Jika nilainya -1, default OS digunakan.

102400

socket.request.max.byte

Jumlah maksimum byte dalam permintaan soket.

104857600

socket.send.buffer.byte

Buffer SO_SNDBUF dari soket pemutus soket. Jika nilainya -1, default OS digunakan.

102400

transaksi.max.timeout.ms

Waktu tunggu maksimum untuk transaksi. Jika waktu transaksi yang diminta klien melebihi nilai ini, broker mengembalikan kesalahan dalam InitProducerIdRequest. Ini mencegah klien dari batas waktu yang terlalu besar, dan ini dapat menghambat konsumen yang membaca dari topik yang termasuk dalam transaksi.

Apache Kafka Standar

transaksial.id.expiration.ms

Waktu dalam milidetik saat koordinator transaksi menunggu untuk menerima pembaruan status transaksi untuk transaksi saat ini sebelum koordinator mengakhiri ID transaksinya. Pengaturan ini juga memengaruhi kedaluwarsa ID produsen karena menyebabkan ID produsen kedaluwarsa ketika waktu ini berlalu setelah penulisan terakhir dengan ID produsen yang diberikan. Producer ID mungkin kedaluwarsa lebih cepat jika penulisan terakhir dari ID produsen dihapus karena pengaturan retensi untuk topik. Nilai minimum untuk properti ini adalah 1 milidetik.

Apache Kafka Standar

diiklankan.pendengar

Pendengar untuk dipublikasikan untuk digunakan klien, jika berbeda dari properti listeners config. Di lingkungan IaaS, ini mungkin perlu berbeda dari antarmuka yang diikat broker. Jika ini tidak disetel, nilai untuk pendengar akan digunakan. Tidak seperti pendengar, tidak valid untuk mengiklankan meta-alamat 0.0.0.0.

Juga tidak sepertilisteners, dapat ada port duplikat di properti ini, sehingga satu pendengar dapat dikonfigurasi untuk mengiklankan alamat pendengar lain. Ini dapat berguna dalam beberapa kasus di mana penyeimbang beban eksternal digunakan.

Properti ini diatur pada tingkat per broker.

null

tipe kompresi

Jenis kompresi akhir untuk topik tertentu. Anda dapat mengatur properti ini ke codec kompresi standar (gzip,, snappylz4, danzstd). Itu juga menerimauncompressed. Nilai ini setara dengan tidak ada kompresi. Jika Anda menetapkan nilai keproducer, itu berarti mempertahankan codec kompresi asli yang ditetapkan produsen.

log.cleanup.policy

Kebijakan pembersihan default untuk segmen di luar jendela retensi. Daftar kebijakan yang valid yang dipisahkan koma. Kebijakan yang valid adalah delete dancompact. Untuk cluster berkemampuan penyimpanan berjenjang, kebijakan yang valid hanya berlaku. delete

log.message.timestamp.setelah.max.ms

Perbedaan stempel waktu yang diijinkan antara stempel waktu pesan dan stempel waktu broker. Stempel waktu pesan dapat lebih lambat dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini. Jikalog.message.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikalog.message.timestamp.type=LogAppendTime.

86400000 (24 * 60 * 60 * 1000 ms, yaitu, 1 hari)

log.pesan.timestamp.sebelum.max.ms

Perbedaan stempel waktu yang diijinkan antara cap waktu broker dan stempel waktu pesan. Stempel waktu pesan dapat lebih awal dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini. Jikalog.message.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikalog.message.timestamp.type=LogAppendTime.

86400000 (24 * 60 * 60 * 1000 ms, yaitu, 1 hari)

log.message.timestamp.type

Menentukan apakah stempel waktu dalam pesan adalah waktu pembuatan pesan atau waktu penambahan log. Nilai yang diizinkan adalah CreateTime danLogAppendTime.

Apache Kafka Standar

log.retention.byte

Ukuran maksimum log sebelum menghapusnya.

Apache Kafka Standar

log.retention.ms

Jumlah milidetik untuk menyimpan file log sebelum menghapusnya.

Apache Kafka Standar

tingkat koneksi maks.penciptaan

Tingkat pembuatan koneksi maksimum yang diizinkan di broker kapan saja.

Apache Kafka Standar

koneksi maks

Jumlah maksimum koneksi yang diizinkan di broker setiap saat. Batas ini diterapkan selain batas per ip yang dikonfigurasi menggunakanmax.connections.per.ip.

Apache Kafka Standar

max.connections.per.ip

Jumlah maksimum koneksi yang diizinkan dari setiap alamat ip. Ini dapat diatur ke 0 jika ada penggantian yang dikonfigurasi menggunakan properti max.connections.per.ip.overrides. Koneksi baru dari alamat ip dijatuhkan jika batas tercapai.

Apache Kafka Standar

max.connections.per.ip.overrides

Daftar per-ip atau nama host yang dipisahkan koma menggantikan jumlah koneksi maksimum default. Nilai contoh adalah hostName:100,127.0.0.1:200

pesan.max.byte

Ukuran batch rekaman terbesar yang diizinkan Kafka. Jika Anda meningkatkan nilai ini dan ada konsumen yang lebih tua dari 0.10.2, Anda juga harus meningkatkan ukuran pengambilan konsumen sehingga mereka dapat mengambil batch rekaman sebesar ini. Versi format pesan terbaru selalu mengelompokkan pesan ke dalam batch untuk efisiensi. Versi format pesan sebelumnya tidak mengelompokkan catatan yang tidak terkompresi ke dalam batch, dan dalam kasus seperti itu, batas ini hanya berlaku untuk satu catatan. Anda dapat mengatur nilai ini per topik dengan max.message.bytes konfigurasi tingkat topik.

produser.id.expiration.ms

Waktu dalam ms yang akan menunggu pemimpin partisi topik sebelum ID produser kedaluwarsa. ID Produsen tidak akan kedaluwarsa saat transaksi yang terkait dengannya masih berlangsung. Perhatikan bahwa ID produsen dapat kedaluwarsa lebih cepat jika penulisan terakhir dari ID produsen dihapus karena pengaturan retensi topik. Menyetel nilai ini sama atau lebih tinggi dari delivery.timeout.ms dapat membantu mencegah kedaluwarsa selama percobaan ulang dan melindungi dari duplikasi pesan, tetapi defaultnya harus masuk akal untuk sebagian besar kasus penggunaan.

pembersihan.kebijakan

Konfigurasi ini menunjuk kebijakan retensi untuk digunakan pada segmen log. Kebijakan “hapus” (yang merupakan default) akan membuang segmen lama ketika waktu retensi atau batas ukurannya telah tercapai. Kebijakan “ringkas” akan mengaktifkan pemadatan log, yang mempertahankan nilai terbaru untuk setiap kunci. Dimungkinkan juga untuk menentukan kedua kebijakan dalam daftar yang dipisahkan koma (misalnya, “hapus, kompak”). Dalam hal ini, segmen lama akan dibuang sesuai konfigurasi waktu retensi dan ukuran, sementara segmen yang dipertahankan akan dipadatkan. Pemadatan pada broker Express dipicu setelah data dalam partisi mencapai 256 MB.

tipe kompresi

Tentukan jenis kompresi akhir untuk topik tertentu. Konfigurasi ini menerima codec kompresi standar (gzip,, snappylz4,zstd). Ini juga menerima uncompressed yang setara dengan tidak ada kompresi; dan producer yang berarti mempertahankan codec kompresi asli yang ditetapkan oleh produsen.

Jumlah waktu untuk mempertahankan penanda batu nisan hapus untuk topik log yang dipadatkan. Pengaturan ini juga memberikan batas waktu di mana konsumen harus menyelesaikan pembacaan jika mereka mulai dari offset 0 untuk memastikan bahwa mereka mendapatkan snapshot yang valid dari tahap akhir. Jika tidak, menghapus batu nisan mungkin dikumpulkan sebelum mereka menyelesaikan pemindaiannya.

Nilai default untuk pengaturan ini adalah 86400000 (24 * 60 * 60 * 1000 ms, yaitu, 1 hari), Apache Kafka Default

maks.message.byte

Ukuran batch rekaman terbesar yang diizinkan oleh Kafka (setelah kompresi, jika kompresi diaktifkan). Jika ini meningkat dan ada konsumen yang lebih tua dari0.10.2, ukuran pengambilan konsumen juga harus ditingkatkan sehingga mereka dapat mengambil batch rekor sebesar ini. Dalam versi format pesan terbaru, catatan selalu dikelompokkan ke dalam batch untuk efisiensi. Dalam versi format pesan sebelumnya, catatan yang tidak terkompresi tidak dikelompokkan ke dalam batch dan batas ini hanya berlaku untuk satu catatan dalam kasus itu. Ini dapat diatur per topik dengan tingkat topikmax.message.bytes config.

pesan.timestamp.setelah.max.ms

Konfigurasi ini menetapkan perbedaan stempel waktu yang diijinkan antara stempel waktu pesan dan stempel waktu broker. Stempel waktu pesan dapat lebih lambat dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini. Jikamessage.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikamessage.timestamp.type=LogAppendTime.

pesan.timestamp.before.max.ms

Konfigurasi ini menetapkan perbedaan stempel waktu yang diijinkan antara stempel waktu broker dan stempel waktu pesan. Stempel waktu pesan dapat lebih awal dari atau sama dengan stempel waktu broker, dengan perbedaan maksimum yang diijinkan ditentukan oleh nilai yang ditetapkan dalam konfigurasi ini. Jikamessage.timestamp.type=CreateTime, pesan akan ditolak jika perbedaan stempel waktu melebihi ambang batas yang ditentukan ini. Konfigurasi ini diabaikan jikamessage.timestamp.type=LogAppendTime.

pesan.timestamp.type

Tentukan apakah stempel waktu dalam pesan adalah waktu pembuatan pesan atau waktu penambahan log. Nilai harus menjadi salah satu CreateTime atau LogAppendTime

Waktu minimum pesan akan tetap tidak dipadatkan di log. Pengaturan ini hanya berlaku untuk log yang sedang dipadatkan.

Nilai default untuk pengaturan ini adalah 0, Apache Kafka Default

Waktu maksimum pesan akan tetap tidak memenuhi syarat untuk pemadatan di log. Pengaturan ini hanya berlaku untuk log yang sedang dipadatkan. Konfigurasi ini akan dibatasi dalam kisaran [7 hari, Long.Max].

Nilai default untuk pengaturan ini adalah 9223372036854775807, Apache Kafka Default.

retensi.byte

Konfigurasi ini mengontrol ukuran maksimum partisi (yang terdiri dari segmen log) yang dapat tumbuh sebelum kami akan membuang segmen log lama untuk mengosongkan ruang jika kami menggunakan kebijakan retensi “hapus”. Secara default tidak ada batas ukuran hanya batas waktu. Karena batas ini diberlakukan pada tingkat partisi, kalikan dengan jumlah partisi untuk menghitung retensi topik dalam byte. Selain itu, retention.bytes configuration beroperasi secara independen dari segment.ms dan segment.bytes konfigurasi. Selain itu, ini memicu penggulungan segmen baru jika retention.bytes dikonfigurasi ke nol.

retensi.ms

Konfigurasi ini mengontrol waktu maksimum kami akan menyimpan log sebelum kami akan membuang segmen log lama untuk mengosongkan ruang jika kami menggunakan kebijakan retensi “hapus”. Ini mewakili SLA tentang seberapa cepat konsumen harus membaca data mereka. Jika disetel ke-1, tidak ada batas waktu yang diterapkan. Selain itu, retention.ms konfigurasi beroperasi secara independen dari segment.ms dan segment.bytes konfigurasi. Selain itu, ini memicu bergulir segmen baru jika retention.ms kondisinya terpenuhi.