Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasi Amazon MSK khusus
Anda dapat menggunakan Amazon MSK untuk membuat konfigurasi MSK kustom di mana Anda menetapkan properti konfigurasi Apache Kafka berikut. Properti yang tidak Anda tetapkan secara eksplisit mendapatkan nilai yang dimilikinyaKonfigurasi Amazon MSK default. Untuk informasi selengkapnya tentang properti konfigurasi, lihat Konfigur asi
| Nama | Deskripsi |
|---|---|
| izinkan semua orang.jika.no.acl.ditemukan | Jika Anda ingin menyetel properti ini kefalse, pertama-tama pastikan Anda mendefinisikan ACL Apache Kafka untuk cluster Anda. Jika Anda menyetel properti ini ke false dan Anda tidak terlebih dahulu mendefinisikan ACL Apache Kafka, Anda kehilangan akses ke cluster. Jika itu terjadi, Anda dapat memperbarui konfigurasi lagi dan mengatur properti ini true untuk mendapatkan kembali akses ke cluster. |
| auto.create.topics.enable | Mengaktifkan pembuatan topik secara otomatis di server. |
| tipe kompresi | Jenis kompresi akhir untuk topik tertentu. Anda dapat mengatur properti ini ke codec kompresi standar (gzip,, snappylz4, danzstd). Itu juga menerimauncompressed. Nilai ini setara dengan tidak ada kompresi. Jika Anda menetapkan nilai keproducer, itu berarti mempertahankan codec kompresi asli yang ditetapkan produsen. |
|
koneksi.max.idle.ms |
Waktu habis koneksi idle dalam milidetik. Utas prosesor soket server menutup koneksi yang tidak aktif selama lebih dari nilai yang Anda tetapkan untuk properti ini. |
| kustom.diiklan.pendengar |
Mengkonfigurasi nama domain khusus untuk pendengar yang menghadap klien di cluster Amazon MSK Anda. Amazon MSK secara otomatis menerapkan konfigurasi ke setiap broker, termasuk broker baru yang ditambahkan selama penskalaan atau penggantian. Bekerja pada kedua ZooKeeper dan klaster Kraft. Contoh format: Nama pendengar yang diizinkan adalah Untuk informasi selengkapnya, lihat Konfigurasikan nama domain khusus untuk cluster Amazon MSK Anda. |
| default.replikasi.faktor | Faktor replikasi default untuk topik yang dibuat secara otomatis. |
| hapus.topic.enable | Mengaktifkan operasi hapus topik. Jika Anda menonaktifkan pengaturan ini, Anda tidak dapat menghapus topik melalui alat admin. |
| grup.initial.rebalance.delay.ms | Jumlah waktu koordinator grup menunggu lebih banyak konsumen data untuk bergabung dengan grup baru sebelum koordinator grup melakukan rebalance pertama. Penundaan yang lebih lama berarti penyeimbangan ulang yang berpotensi lebih sedikit, tetapi ini meningkatkan waktu hingga pemrosesan dimulai. |
| grup.max.session.timeout.ms | Waktu tunggu sesi maksimum untuk konsumen terdaftar. Waktu tunggu yang lebih lama memberi konsumen lebih banyak waktu untuk memproses pesan antara detak jantung dengan mengorbankan waktu yang lebih lama untuk mendeteksi kegagalan. |
| grup.min.session.timeout.ms | Waktu tunggu sesi minimum untuk konsumen terdaftar. Waktu tunggu yang lebih pendek menghasilkan deteksi kegagalan yang lebih cepat dengan mengorbankan detak jantung konsumen yang lebih sering. Ini dapat membanjiri sumber daya broker. |
| leader.imbalance.per.broker.persen | Rasio ketidakseimbangan pemimpin diperbolehkan per broker. Pengontrol memicu saldo pemimpin jika melebihi nilai ini per broker. Nilai ini ditentukan dalam persentase. |
| log.cleaner.menghapus.retention.ms | Jumlah waktu yang Anda ingin Apache Kafka menyimpan catatan yang dihapus. Nilai minimumnya adalah 0. |
| log.cleaner.min.cleanable.ratio |
Properti konfigurasi ini dapat memiliki nilai antara 0 dan 1. Nilai ini menentukan seberapa sering pemadat log mencoba membersihkan log (jika pemadatan log diaktifkan). Secara default, Apache Kafka menghindari membersihkan log jika lebih dari 50% log telah dipadatkan. Rasio ini membatasi ruang maksimum yang dibuang log dengan duplikat (pada 50%, ini berarti paling banyak 50% dari log dapat berupa duplikat). Rasio yang lebih tinggi berarti pembersihan yang lebih sedikit dan lebih efisien, tetapi lebih banyak ruang yang terbuang di log. |
| log.cleanup.policy | Kebijakan pembersihan default untuk segmen di luar jendela retensi. Daftar kebijakan yang valid yang dipisahkan koma. Kebijakan yang valid adalah delete dancompact. Untuk cluster yang diaktifkan Penyimpanan Berjenjang, kebijakan yang valid delete hanya berlaku. |
| log.flush.interval.pesan | Jumlah pesan yang terakumulasi pada partisi log sebelum pesan dibuang ke disk. |
| log.flush.interval.ms | Waktu maksimum dalam milidetik bahwa pesan dalam topik apa pun tetap berada di memori sebelum disiram ke disk. Jika Anda tidak menetapkan nilai ini, nilai di log.flush.scheduler.interval.ms digunakan. Nilai minimumnya adalah 0. |
| log.pesan.timestamp.perbedaan.max.ms | Konfigurasi ini tidak digunakan lagi di Kafka 3.6.0. Dua konfigurasi, log.message.timestamp.before.max.ms danlog.message.timestamp.after.max.ms, telah ditambahkan. Perbedaan waktu maksimum antara stempel waktu ketika broker menerima pesan dan stempel waktu yang ditentukan dalam pesan. Jika log.message.timestamp.type=CreateTime, pesan ditolak jika perbedaan stempel waktu melebihi ambang batas ini. Konfigurasi ini diabaikan jika log.message.timestamp.type=LogAppendTime. |
| log.message.timestamp.type | Menentukan apakah stempel waktu dalam pesan adalah waktu pembuatan pesan atau waktu penambahan log. Nilai yang diizinkan adalah CreateTime danLogAppendTime. |
| log.retention.byte | Ukuran maksimum log sebelum menghapusnya. |
| log.retention.jam | Jumlah jam untuk menyimpan file log sebelum menghapusnya, tersier ke properti log.retention.ms. |
| log.retention.menit | Jumlah menit untuk menyimpan file log sebelum menghapusnya, sekunder untuk properti log.retention.ms. Jika Anda tidak menyetel nilai ini, nilai di log.retention.hours digunakan. |
| log.retention.ms | Jumlah milidetik untuk menyimpan file log sebelum menghapusnya (dalam milidetik), Jika tidak disetel, nilai di log.retention.minutes digunakan. |
| log.roll.ms | Waktu maksimum sebelum segmen log baru diluncurkan (dalam milidetik). Jika Anda tidak menyetel properti ini, nilai di log.roll.hours digunakan. Nilai minimum yang mungkin untuk properti ini adalah 1. |
| log.segment.byte | Ukuran maksimum dari satu file log. |
| maks.incremental.fetch.session.cache.slots | Jumlah maksimum sesi pengambilan tambahan yang dipertahankan. |
| pesan.max.byte |
Ukuran batch rekaman terbesar yang diizinkan Kafka. Jika Anda meningkatkan nilai ini dan ada konsumen yang lebih tua dari 0.10.2, Anda juga harus meningkatkan ukuran pengambilan konsumen sehingga mereka dapat mengambil batch rekaman sebesar ini. Versi format pesan terbaru selalu mengelompokkan pesan ke dalam batch untuk efisiensi. Versi format pesan sebelumnya tidak mengelompokkan catatan yang tidak terkompresi ke dalam batch, dan dalam kasus seperti itu, batas ini hanya berlaku untuk satu catatan. Anda dapat mengatur nilai ini per topik dengan konfigurasi tingkat topik max.message.bytes. |
| min.insync.replika |
Ketika produsen menetapkan acks ke Anda dapat menggunakan nilai dalam min.insync.replicas dan acks untuk menegakkan jaminan daya tahan yang lebih besar. Misalnya, Anda dapat membuat topik dengan faktor replikasi 3, mengatur min.insync.replicas ke 2, dan menghasilkan dengan acks of. |
| nom.io.thread | Jumlah thread yang digunakan server untuk memproses permintaan, yang mungkin termasuk disk I/O. |
| nom.network.thread | Jumlah thread yang digunakan server untuk menerima permintaan dari jaringan dan mengirim tanggapan untuk itu. |
| nom.partisi | Jumlah partisi log default per topik. |
| nom.recovery.threads.per.data.dir | Jumlah thread per direktori data yang akan digunakan untuk memulihkan log saat startup dan dan untuk menghapusnya saat shutdown. |
| nom.replica.fetcher | Jumlah thread fetcher yang digunakan untuk mereplikasi pesan dari broker sumber. Jika Anda meningkatkan nilai ini, Anda dapat meningkatkan tingkat I/O paralelisme di broker pengikut. |
| offset.retensi.menit | Setelah kelompok konsumen kehilangan semua konsumennya (yaitu, menjadi kosong), pengimbangannya disimpan untuk periode retensi ini sebelum dibuang. Untuk konsumen mandiri (yaitu, mereka yang menggunakan penugasan manual), offset kedaluwarsa setelah waktu komit terakhir ditambah periode retensi ini. |
| offset.topik.replikasi.faktor | Faktor replikasi untuk topik offset. Tetapkan nilai ini lebih tinggi untuk memastikan ketersediaan. Pembuatan topik internal gagal sampai ukuran cluster memenuhi persyaratan faktor replikasi ini. |
| replica.fetch.max.byte | Jumlah byte pesan untuk mencoba mengambil untuk setiap partisi. Ini bukan maksimum mutlak. Jika kumpulan rekaman pertama di partisi pertama yang tidak kosong dari pengambilan lebih besar dari nilai ini, kumpulan rekaman dikembalikan untuk memastikan kemajuan. Message.max.bytes (config broker) atau max.message.bytes (config topik) menentukan ukuran batch record maksimum yang diterima broker. |
| replica.fetch.response.max.byte | Jumlah maksimum byte yang diharapkan untuk seluruh respons fetch. Rekaman diambil dalam batch, dan jika kumpulan rekaman pertama di partisi pertama yang tidak kosong dari pengambilan lebih besar dari nilai ini, kumpulan rekaman masih akan dikembalikan untuk memastikan kemajuan. Ini bukan maksimum mutlak. Properti message.max.bytes (config broker) atau max.message.bytes (config topik) menentukan ukuran batch record maksimum yang diterima broker. |
| replika.lag.time.max.ms | Jika pengikut belum mengirim permintaan pengambilan apa pun atau belum menghabiskan hingga offset akhir log pemimpin setidaknya selama jumlah milidetik ini, pemimpin menghapus pengikut dari ISR. MinValue: 10000 MaxValue = 30000 |
| kelas replika.seleksi | Nama kelas yang memenuhi syarat yang diimplementasikan ReplicaSelector. Pialang menggunakan nilai ini untuk menemukan replika baca yang disukai. Jika Anda menggunakan Apache Kafka versi 2.4.1 atau lebih tinggi, dan ingin mengizinkan konsumen mengambil dari replika terdekat, setel properti ini ke. org.apache.kafka.common.replica.RackAwareReplicaSelector Untuk informasi selengkapnya, lihat Apache Kafka versi 2.4.1 (gunakan 2.4.1.1 sebagai gantinya). |
| replica.socket.receive.buffer.byte | Soket menerima buffer untuk permintaan jaringan. |
| socket.receive.buffer.byte | Buffer SO_RCVBUF dari soket server soket. Nilai minimum yang dapat Anda tetapkan untuk properti ini adalah -1. Jika nilainya -1, Amazon MSK menggunakan default OS. |
| socket.request.max.byte | Jumlah maksimum byte dalam permintaan soket. |
| socket.send.buffer.byte | Buffer SO_SNDBUF dari soket server soket. Nilai minimum yang dapat Anda tetapkan untuk properti ini adalah -1. Jika nilainya -1, Amazon MSK menggunakan default OS. |
| transaksi.max.timeout.ms | Waktu tunggu maksimum untuk transaksi. Jika waktu transaksi yang diminta klien melebihi nilai ini, broker mengembalikan kesalahan dalam InitProducerIdRequest. Ini mencegah klien dari batas waktu yang terlalu besar, dan ini dapat menghambat konsumen yang membaca dari topik yang termasuk dalam transaksi. |
| transaksi.state.log.min.isr | Mengganti konfigurasi min.insync.replicas untuk topik transaksi. |
| transaksi.state.log.replikasi.faktor | Faktor replikasi untuk topik transaksi. Setel properti ini ke nilai yang lebih tinggi untuk meningkatkan ketersediaan. Pembuatan topik internal gagal sampai ukuran cluster memenuhi persyaratan faktor replikasi ini. |
| transaksial.id.expiration.ms | Waktu dalam milidetik saat koordinator transaksi menunggu untuk menerima pembaruan status transaksi untuk transaksi saat ini sebelum koordinator mengakhiri ID transaksinya. Pengaturan ini juga memengaruhi kedaluwarsa ID produsen karena menyebabkan ID produsen kedaluwarsa ketika waktu ini berlalu setelah penulisan terakhir dengan ID produsen yang diberikan. Producer ID mungkin kedaluwarsa lebih cepat jika penulisan terakhir dari ID produsen dihapus karena pengaturan retensi untuk topik. Nilai minimum untuk properti ini adalah 1 milidetik. |
| unclean.leader.election.enable | Menunjukkan jika replika yang tidak ada dalam set ISR harus berfungsi sebagai pemimpin sebagai upaya terakhir, meskipun ini dapat mengakibatkan hilangnya data. |
| zookeeper.connection.timeout.ms | ZooKeeper klaster mode. Waktu maksimum yang klien menunggu untuk membuat koneksi. ZooKeeper Jika Anda tidak menetapkan nilai ini, nilai di zookeeper.session.timeout.ms digunakan. MinValue = 6000 MaxValue (inklusif) = 18000 Sebaiknya setel nilai ini ke 10.000 T3.small untuk menghindari downtime cluster. |
| zookeeper.session.timeout.ms |
ZooKeeper klaster mode. Waktu tunggu ZooKeeper sesi Apache dalam milidetik. MinValue = 6000 MaxValue (inklusif) = 18000 |
Untuk mempelajari cara membuat konfigurasi MSK kustom, daftar semua konfigurasi, atau jelaskan, lihatOperasi konfigurasi broker. Untuk membuat cluster MSK dengan konfigurasi MSK kustom, atau memperbarui cluster dengan konfigurasi kustom baru, lihat. Fitur dan konsep utama Amazon MSK
Saat Anda memperbarui cluster MSK yang ada dengan konfigurasi MSK khusus, Amazon MSK melakukan restart bergulir bila diperlukan, dan menggunakan praktik terbaik untuk meminimalkan waktu henti pelanggan. Misalnya, setelah Amazon MSK memulai ulang setiap broker, Amazon MSK mencoba membiarkan broker mengejar data yang mungkin terlewatkan oleh broker selama pembaruan konfigurasi sebelum pindah ke broker berikutnya.
Konfigurasi Amazon MSK dinamis
Selain properti konfigurasi yang disediakan Amazon MSK, Anda dapat secara dinamis mengatur properti konfigurasi tingkat cluster dan tingkat broker yang tidak memerlukan restart broker. Anda dapat secara dinamis mengatur beberapa properti konfigurasi. Ini adalah properti yang tidak ditandai sebagai read-only dalam tabel di bawah Broker Config
catatan
Anda dapat menyetel pendengar kustom untuk mengganti pendengar Amazon MSK default menggunakan properti custom.advertised.listeners konfigurasi, yang berfungsi pada kedua ZooKeeper dan klaster Kraft. Untuk informasi selengkapnya, lihat Konfigurasikan nama domain khusus untuk cluster Amazon MSK Anda.
Topic-level Konfigurasi Amazon MSK
Anda dapat menggunakan perintah Apache Kafka untuk mengatur atau memodifikasi properti konfigurasi tingkat topik untuk topik baru dan yang sudah ada. Untuk informasi selengkapnya tentang properti konfigurasi tingkat topik dan contoh tentang cara mengaturnya, lihat Topic-Level Konfigurasi
