MSKKuota Amazon - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

MSKKuota Amazon

AWS Akun Anda memiliki kuota default untuk AmazonMSK. Kecuali dinyatakan lain, setiap kuota per akun bersifat spesifik wilayah dalam akun Anda. AWS

Kuota MSK pialang Amazon Standard

Kuota pialang standar
Dimensi Kuota Catatan
Pialang per akun 90 Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas.
Broker per cluster 30 untuk cluster ZooKeeper berbasis 60 untuk cluster KRaft berbasis Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas.
Penyimpanan minimum per broker 1 GiB
Penyimpanan maksimum per broker 16384 GiB
TCPKoneksi maksimum per broker (Kontrol IAM akses) 3000 Untuk meningkatkan batas ini, Anda dapat menyesuaikan listener.name.client_iam.max.connections atau properti listener.name.client_iam_public.max.connections konfigurasi menggunakan Kafka AlterConfig API atau kafka-configs.sh alat. Penting untuk dicatat bahwa meningkatkan salah satu properti ke nilai tinggi dapat mengakibatkan tidak tersedianya.
Tingkat TCP koneksi maksimum per broker (IAM) 100 per detik (ukuran instans M5 dan m7g) 4 per detik (ukuran instans t3) Untuk menangani percobaan ulang pada koneksi yang gagal, Anda dapat mengatur parameter reconnect.backoff.ms konfigurasi di sisi klien. Misalnya, jika Anda ingin klien mencoba lagi koneksi setelah 1 detik, atur reconnect.backoff.ms ke1000. Untuk informasi selengkapnya, lihat reconnect.backoff.ms di dokumentasi Apache Kafka.
TCPKoneksi maksimum per broker (non-IAM) N/A MSKtidak memberlakukan batas koneksi untuk IAM non-autentikasi. Anda harus memantau metrik lain seperti CPU dan penggunaan memori untuk memastikan Anda tidak membebani cluster Anda karena koneksi yang berlebihan.
Konfigurasi per akun 100 Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas.

Untuk memperbarui konfigurasi atau versi Apache Kafka dari sebuah MSK cluster, pertama-tama pastikan jumlah partisi per broker berada di bawah batas yang dijelaskan dalam. Ukuran kluster Anda dengan benar: Jumlah partisi per pialang Standar

Revisi konfigurasi per akun 50

MSKKuota broker Amazon Express

Kuota broker ekspres
Dimensi Kuota Catatan
Pialang per akun 90 Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas.
Broker per cluster 30 Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas.
Penyimpanan maksimum Tidak terbatas.
TCPKoneksi maksimum per broker (Kontrol IAM akses) 3000
Tingkat TCP koneksi maksimum per broker (IAM) 100 per detik Untuk menangani percobaan ulang pada koneksi yang gagal, Anda dapat mengatur parameter reconnect.backoff.ms konfigurasi di sisi klien. Misalnya, jika Anda ingin klien mencoba lagi koneksi setelah 1 detik, atur reconnect.backoff.ms ke1000. Untuk informasi selengkapnya, lihat reconnect.backoff.ms di dokumentasi Apache Kafka.
TCPKoneksi maksimum per broker (non-IAM) N/A MSKtidak memberlakukan batas koneksi untuk IAM non-autentikasi. Namun Anda harus memantau metrik lain seperti CPU dan penggunaan memori untuk memastikan Anda tidak membebani cluster Anda karena koneksi yang berlebihan.
Konfigurasi per akun 100 Untuk meminta kuota yang lebih tinggi, buka konsol Service Quotas. Untuk memperbarui konfigurasi atau versi Apache Kafka dari sebuah MSK cluster, pertama-tama pastikan jumlah partisi per broker berada di bawah batas yang dijelaskan dalam. Ukuran kluster Anda dengan benar: Jumlah partisi per broker Express
Revisi konfigurasi per akun 50
Max Ingress per broker Direkomendasikan: 15,6 - 500,0 MBps Berdasarkan ukuran instance.
Max Egress per broker Direkomendasikan: 31,2 - 1000,0 MBps Berdasarkan ukuran instance.

Batas throttle throughput broker ekspres menurut ukuran broker

Batas throttle throughput broker ekspres
Ukuran instans Batas throttle masuknya per broker () MBps Batas throttle jalan keluar per broker () MBps
express.m7g.large 23.4 58.5
express.m7g.4xlarge 187,5 468,7
express.m7g.16xlarge 750.0 1875.0

MSKKuota replikator

  • Maksimal 15 MSK Replikator per akun.

  • MSKReplicator hanya mereplikasi hingga 750 topik dalam urutan yang diurutkan. Jika Anda perlu mereplikasi lebih banyak topik, kami sarankan Anda membuat Replicator terpisah. Buka konsol Service Quotas, jika Anda memerlukan dukungan untuk lebih dari 750 topik per Replicator. Anda dapat memantau jumlah topik yang direplikasi menggunakan metrik TopicCount "”.

  • Throughput ingress maksimum 1GB per detik per Replicator. MSK Minta kuota yang lebih tinggi dengan melalui konsol Service Quotas.

  • MSKUkuran Rekaman Replikator - Maksimal ukuran rekaman 10MB (message.max.bytes). Minta kuota yang lebih tinggi dengan melalui konsol Service Quotas.

MSKKuota tanpa server

catatan

Jika Anda mengalami masalah dengan batas kuota layanan, buat kasus dukungan dengan kasus penggunaan dan batas yang diminta.

Batas adalah per cluster, kecuali dinyatakan lain.
Dimensi Kuota Hasil pelanggaran kuota

Throughput masuknya maksimum

200 MBps

Perlambatan dengan durasi throttle sebagai respons

Throughput keluar maksimum 400 MBps

Perlambatan dengan durasi throttle sebagai respons

Durasi retensi maksimum Tidak terbatas. N/A

Jumlah maksimum koneksi klien

3000 Koneksi dekat
Upaya koneksi maksimum 100 per detik Koneksi dekat

Ukuran pesan maksimal

8 MB Permintaan gagal dengan ErrorCode: INVALID_ REQUEST
Tingkat permintaan maksimum 15.000 per detik Perlambatan dengan durasi throttle sebagai respons

Tingkat maksimum tingkat APIs permintaan manajemen topik

2 per detik Perlambatan dengan durasi throttle sebagai respons

Byte pengambilan maksimum per permintaan

55 MB

Permintaan gagal dengan ErrorCode: INVALID_ REQUEST

Jumlah maksimum kelompok konsumen

500 JoinGroup permintaan gagal
Jumlah maksimum partisi (pemimpin) 2400 untuk topik yang tidak dipadatkan. 120 untuk topik yang dipadatkan. Untuk meminta penyesuaian kuota layanan, buat kasus dukungan dengan kasus penggunaan Anda dan batas yang diminta. Permintaan gagal dengan ErrorCode: INVALID_ REQUEST
Tingkat maksimum pembuatan dan penghapusan partisi 250 dalam 5 menit Permintaan gagal dengan ErrorCode: THROUGHPUT _ QUOTA _ EXCEEDED

Throughput masuknya maksimum per partisi

5 MBps Perlambatan dengan durasi throttle sebagai respons

Throughput keluar maksimum per partisi

10 MBps Perlambatan dengan durasi throttle sebagai respons

Ukuran partisi maksimum (untuk topik yang dipadatkan)

250 GB Permintaan gagal dengan ErrorCode: THROUGHPUT _ QUOTA _ EXCEEDED
Jumlah maksimum klien VPCs per klaster tanpa server 5
Jumlah maksimum cluster tanpa server per akun 10. Untuk meminta penyesuaian kuota layanan, buat kasus dukungan dengan kasus penggunaan Anda dan batas yang diminta.

MSKConnect kuota

  • Hingga 100 plugin kustom.

  • Hingga 100 konfigurasi pekerja.

  • Hingga 60 pekerja yang terhubung. Jika konektor diatur untuk memiliki kapasitas auto scaled, maka jumlah maksimum pekerja yang telah diatur konektor adalah nomor yang digunakan MSK Connect untuk menghitung kuota akun tersebut.

  • Hingga 10 pekerja per konektor.

Untuk meminta kuota MSK Connect yang lebih tinggi, buka konsol Service Quotas.