Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kuota Amazon MSK
Anda Akun AWS memiliki kuota default untuk Amazon MSK. Kecuali dinyatakan lain, setiap kuota per akun berada Region-specific dalam kuota Anda Akun AWS.
Topik
Meminta kenaikan kuota di Amazon MSK
Anda dapat meminta kenaikan kuota untuk setiap Wilayah menggunakan konsol Kuota Layanan AWS CLI, atau kasus dukungan. Jika kuota yang dapat disesuaikan tidak tersedia di konsol Kuota Layanan, gunakan AWS Support Center Console untuk membuat kasus peningkatan kuota layanan
Dukungan dapat menyetujui, menolak, atau menyetujui sebagian permintaan kenaikan kuota Anda. Peningkatan tidak diberikan segera, dan dapat memakan waktu beberapa hari untuk mulai berlaku.
Untuk meminta peningkatan menggunakan konsol Kuota Layanan
-
Buka konsol Service Quotas di https://console.aws.amazon.com/servicequotas/
. -
Dari bilah navigasi, pilih Wilayah.
-
Di panel navigasi kiri, pilih Layanan AWS.
-
Di kotak Cari layanan, ketik
msk, lalu pilih Amazon Managed Streaming untuk Apache Kafka (MSK). -
Di Kuota layanan, pilih nama Ku ota yang ingin Anda minta kenaikan. Misalnya,
Number of brokers per account. -
Pilih Minta kenaikan di tingkat akun.
-
Untuk Tingkatkan nilai kuota, masukkan nilai kuota baru.
-
Pilih Minta.
-
(Opsional) Untuk melihat permintaan yang tertunda atau yang baru saja diselesaikan di konsol, pilih Dasbor di panel navigasi kiri. Untuk permintaan yang tertunda, pilih status permintaan untuk membuka penerimaan permintaan. Status awal dari permintaan adalah Tertunda. Setelah status berubah menjadi Ku ota yang diminta, Anda akan melihat nomor kasus dengan Dukungan. Pilih nomor kasus untuk membuka tiket untuk permintaan Anda.
Untuk informasi selengkapnya, termasuk cara menggunakan AWS CLI SDK atau untuk meminta kenaikan kuota, lihat Meminta peningkatan kuota di Panduan Pengguna Kuota Layanan.
Kuota broker Amazon MSK Standard
Tabel berikut menjelaskan kuota untuk broker Standar.
| Dimensi | Kuota | Catatan |
|---|---|---|
| Broker per akun | 90 | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan |
| Broker per cluster | 30 untuk ZooKeeper-based cluster 60 untuk KRaft-based cluster | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan |
| Penyimpanan minimum per broker | 1 GiB | |
| Penyimpanan maksimum per broker | 16384 GiB | |
| Koneksi TCP maksimum per broker (kontrol akses IAM) | 3000 | Untuk meningkatkan batas ini, Anda dapat menyesuaikan properti listener.name.client_iam_public.max.connections konfigurasi menggunakan Kafka AlterConfig API atau kafka-configs.sh alat. listener.name.client_iam.max.connections Penting untuk dicatat bahwa meningkatkan salah satu properti ke nilai tinggi dapat mengakibatkan tidak tersedianya. |
| Tingkat koneksi TCP maksimum per broker (IAM) | 100 per detik (ukuran instans M5 dan M7g) 4 per detik (ukuran instance t3) | Untuk menangani percobaan ulang pada koneksi yang gagal, Anda dapat mengatur parameter reconnect.backoff.ms konfigurasi di sisi klien. Misalnya, jika Anda ingin klien mencoba kembali koneksi setelah 1 detik, setel reconnect.backoff.ms ke1000. Untuk informasi selengkapnya, lihat reconnect.backoff. |
| Koneksi TCP maksimum per broker (non-IAM) | N/A | MSK tidak memberlakukan batas koneksi untuk autentikasi non-IAM. Anda harus memantau metrik lain seperti penggunaan CPU dan memori untuk memastikan Anda tidak membebani cluster Anda karena koneksi yang berlebihan. |
| Konfigurasi per akun | 100 | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan Untuk memperbarui konfigurasi atau versi Apache Kafka dari cluster MSK, pertama-tama pastikan jumlah partisi per broker berada di bawah batas yang dijelaskan di. Right-size cluster Anda: Jumlah partisi per broker Standar |
| Revisi konfigurasi per akun | 50 |
Kuota broker Amazon MSK Express
Tabel berikut menjelaskan kuota untuk broker Express.
| Dimensi | Kuota | Catatan |
|---|---|---|
| Broker per akun | 90 | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan |
| Broker per cluster | 30 untuk ZooKeeper-based cluster 60 untuk KRaft-based cluster | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan |
| Penyimpanan maksimum | Tidak terbatas. | |
| Koneksi TCP maksimum per broker (kontrol akses IAM) | 3000 |
Untuk meningkatkan batas koneksi, sesuaikan salah satu properti konfigurasi berikut menggunakan Kafka AlterConfig API atau alat kafka-configs.sh:
Menyetel properti ini ke nilai tinggi dapat mengakibatkan tidak tersedianya cluster. |
| Tingkat koneksi TCP maksimum per broker (IAM) | 100 per detik | Untuk menangani percobaan ulang pada koneksi yang gagal, Anda dapat mengatur parameter reconnect.backoff.ms konfigurasi di sisi klien. Misalnya, jika Anda ingin klien mencoba kembali koneksi setelah 1 detik, setel reconnect.backoff.ms ke1000. Untuk informasi selengkapnya, lihat reconnect.backoff. |
| Koneksi TCP maksimum per broker (non-IAM) | N/A | MSK tidak memberlakukan batas koneksi untuk autentikasi non-IAM. Namun Anda harus memantau metrik lain seperti penggunaan CPU dan memori untuk memastikan Anda tidak membebani cluster Anda karena koneksi yang berlebihan. |
| Konfigurasi per akun | 100 | Untuk meminta kuota yang lebih tinggi, buka konsol Kuota Layanan |
| Revisi konfigurasi per akun | 50 | |
| Max Ingress per broker | Direkomendasikan: 15.6 - 500.0 MBps | Berdasarkan ukuran instance. |
| Max Egress per broker | Direkomendasikan: 31.2 - 1000,0 MBps | Berdasarkan ukuran instance. |
| Throughput per partisi | Maks 15 MB/s |
Batas throttle throughput broker ekspres berdasarkan ukuran broker
Tabel berikut mencantumkan batas throttle throughput yang direkomendasikan dan maksimum terkait dengan masuk dan keluar untuk ukuran broker yang berbeda. Dalam tabel ini, throughput yang disarankan direpresentasikan sebagai Performa berkelanjutan, yang merupakan ambang batas di mana aplikasi Anda tidak akan mengalami penurunan kinerja apa pun. Jika Anda beroperasi di luar batas ini pada salah satu dimensi, Anda mungkin mendapatkan lebih banyak throughput, tetapi Anda mungkin juga mengalami penurunan kinerja. Kuota maksimum adalah ambang batas di mana cluster Anda akan membatasi lalu read/write lintas. Aplikasi Anda tidak akan dapat beroperasi di luar ambang batas ini.
| Ukuran instans | Kinerja berkelanjutan (MBps) untuk masuk | Kuota maksimum (MBps) untuk masuk | Kinerja berkelanjutan (MBps) untuk keluar | Kuota maksimum (MBps) untuk keluar |
|---|---|---|---|---|
| ekspresi.m7g.besar | 15.6 | 23.4 | 31.2 | 58.5 |
| express.m7g.xlarge | 31.2 | 46.8 | 62.5 | 117 |
| ekspresi.m7g.2xbesar | 62.5 | 93.7 | 125 | 234.2 |
| express.m7g.4xbesar | 124.9 | 187.5 | 249.8 | 468.7 |
| ekspresi.m7g.8xbesar | 250 | 375 | 500 | 937.5 |
| express.m7g.12xbesar | 375 | 562.5 | 750 | 1406.2 |
| express.m7g.16xbesar | 500 | 750 | 1000 | 1875 |
Kuota partisi broker ekspres
Tabel berikut menunjukkan jumlah partisi yang disarankan (termasuk replika pemimpin dan pengikut) untuk setiap broker Express. Anda tidak dapat melebihi jumlah maksimum partisi yang disebutkan dalam tabel berikut untuk setiap broker Express.
Untuk informasi tentang praktik terbaik yang perlu dipertimbangkan saat menetapkan partisi ke broker Express, lihatRight-size cluster Anda: Jumlah partisi per broker Express.
| Ukuran broker | Jumlah partisi yang disarankan (termasuk replika pemimpin dan pengikut) per broker | Jumlah maksimum partisi per broker |
|---|---|---|
|
|
1000 | 1500 |
|
1000 | 2000 |
|
|
2500 | 4000 |
|
|
6000 | 8000 |
|
12000 | 16000 |
|
16000 | 24000 |
|
2000 | 32000 |
Kuota Replicator MSK
Maksimal 15 Replikator MSK per akun.
-
MSK Replicator hanya mereplikasi hingga 750 topik dalam urutan yang diurutkan. Jika Anda perlu mereplikasi lebih banyak topik, kami sarankan Anda membuat Replicator terpisah. Untuk meminta dukungan untuk lebih dari 750 topik per Replikator, hubungi AWS Dukungan. Anda dapat memantau jumlah topik yang direplikasi menggunakan
TopicCountmetrik. -
Throughput masuk maksimum 1 GB per detik per MSK Replicator. Untuk meminta kuota yang lebih tinggi, hubungi AWS Dukungan.
-
Ukuran rekaman MSK Replicator — Ukuran rekaman maksimum 10 MB untuk replikasi lintas wilayah dan 20 MB untuk replikasi wilayah yang sama ().
message.max.bytesUntuk meminta kuota yang lebih tinggi, hubungi AWS Dukungan.
Kuota tanpa server MSK
Kuota yang ditentukan dalam tabel berikut adalah per cluster, kecuali dinyatakan lain.
catatan
Jika Anda mengalami masalah dengan batas kuota layanan, buat kasus dukungan dengan kasus penggunaan dan batas yang diminta.
| Dimensi | Kuota | Hasil pelanggaran kuota |
|---|---|---|
|
Throughput masuk maksimum |
200 MBps |
Perlambatan dengan durasi throttle sebagai respons |
| Throughput keluar maksimum | 400 MBps |
Perlambatan dengan durasi throttle sebagai respons |
| Durasi retensi maksimum | Tidak terbatas. | N/A |
|
Jumlah maksimum koneksi klien |
3000 | Koneksi tutup |
| Upaya koneksi maksimum | 100 per detik | Koneksi tutup |
|
Ukuran pesan maksimum |
8 MB | Permintaan gagal dengan ErrorCode: INVALID_REQUEST |
| Tingkat permintaan maksimum | 15.000 per detik | Perlambatan dengan durasi throttle sebagai respons |
|
Tingkat maksimum tingkat permintaan API manajemen topik |
2 per detik | Perlambatan dengan durasi throttle sebagai respons |
|
Maksimum byte pengambilan per permintaan |
55 MB |
Permintaan gagal dengan ErrorCode: INVALID_REQUEST |
|
Jumlah maksimum kelompok konsumen |
500 | JoinGroup permintaan gagal |
| Jumlah maksimum partisi (pemimpin) | 2400 untuk topik yang tidak dipadatkan. 120 untuk topik yang dipadatkan. Untuk meminta penyesuaian kuota layanan, buat kasus dukungan dengan kasus penggunaan dan batas yang diminta. | Permintaan gagal dengan ErrorCode: INVALID_REQUEST |
| Tingkat maksimum pembuatan dan penghapusan partisi | 250 dalam 5 menit | Permintaan gagal dengan ErrorCode: THROUGHPUT_QUOTA_EXCEEDED |
|
Throughput masuk maksimum per partisi |
5 MBps | Perlambatan dengan durasi throttle sebagai respons |
|
Throughput keluar maksimum per partisi |
10 MBps | Perlambatan dengan durasi throttle sebagai respons |
|
Ukuran partisi maksimum (untuk topik yang dipadatkan) |
250GB | Permintaan gagal dengan ErrorCode: THROUGHPUT_QUOTA_EXCEEDED |
| Jumlah maksimum VPC klien per cluster tanpa server | 5 | |
| Jumlah maksimum cluster tanpa server per akun | 10. Untuk meminta penyesuaian kuota layanan, buat kasus dukungan dengan kasus penggunaan dan batas yang diminta. |
Kuota MSK Connect
Hingga 100 plugin khusus.
-
Hingga 100 konfigurasi pekerja.
-
Hingga 60 pekerja terhubung. Jika konektor diatur untuk memiliki kapasitas skala otomatis, maka jumlah maksimum pekerja yang dimiliki konektor adalah jumlah yang digunakan MSK Connect untuk menghitung kuota akun.
-
Hingga 10 pekerja per konektor.
Untuk meminta kuota yang lebih tinggi untuk MSK Connect, buka konsol Kuota
Kuota Pengiriman Data Amazon MSK
Kuota berikut berlaku untuk Saluran Pengiriman Data Amazon MSK.
| Sumber daya | Kuota bawaan | Dapat Disesuaikan |
|---|---|---|
Saluran per Amazon MSK cluster | 50 | Ya |
Saluran per topik Kafka | 10 | Ya |
Interval kesegaran data maksimum | 15 menit | Tidak |
Interval kesegaran data minimum | 5 menit | Tidak |
Throughput minimum untuk kesegaran 5 menit (Tabel S3) | 2.4 MB/s per Saluran | Tidak |
Throughput maksimum per Saluran | Hingga 10 GB/s | Tidak |
Partisi maksimum per tabel (Tabel S3) | 100 | Tidak |
Format input yang didukung (Tabel S3) | JSON, JSON_SCHEMA_GSR | Tidak |
Format input yang didukung (bucket S3) | JSON, ByteArray, String | Tidak |
Format keluaran (Tabel S3) | Apache Iceberg; File parket dengan kompresi ZSTD atau Snappy | Tidak |
Kompresi keluaran (bucket S3) | TIDAK ADA, GZIP, atau ZSTD | Tidak |
Evolusi skema | Tidak didukung | Tidak |
Panjang nama topik maksimum | 249 karakter | Tidak |
Panjang nama tabel maksimum | 255 karakter | Tidak |
Untuk meminta kenaikan kuota yang dapat disesuaikan, gunakan prosedur diMeminta kenaikan kuota di Amazon MSK.
