Amazon MSK クォータ
AWS アカウントには、Amazon MSK のデフォルトのクォータがあります。特に明記されていない限り、アカウントごとの各クォータは AWS アカウント内のリージョンに固有です。
Amazon MSK クォータ
-
アカウントあたり最大 90 ブローカー。ZooKeeper モードクラスターあたり 30 ブローカー。KRaft モードクラスターあたり 60 ブローカー。クォータの引き上げをリクエストするには、Service Quotas コンソール
に移動します。 -
ブローカーごとに最低 1 GiB のストレージ。
-
ブローカーごとに最大 16384 GiB のストレージ。
-
IAM アクセスコントロール を使用するクラスターは、ブローカーごとに常に最大 3000 の TCP 接続を持つことができます。この制限を増やす場合は、Kafka AlterConfig API または
kafka-configs.sh
ツールを使用して、listener.name.client_iam.max.connections
またはlistener.name.client_iam_public.max.connections
設定プロパティを調整できます。いずれかのプロパティを高い値に増やすと、使用できなくなる可能性があることに注意してください。 -
TCP 接続の制限。接続率バースト機能を有効にすると、MSK は 1 秒あたり 100 の接続を許可します。例外は kafka.t3.small インスタンスタイプで、接続率バースト機能が有効になっている状態で、1 秒あたり 4 の接続が許可されます。接続率バースト機能が有効になっていない古いクラスターでは、クラスターにパッチが適用されたときにこの機能が自動的に有効になります。
接続に失敗した場合の再試行を処理するには、クライアント側で
reconnect.backoff.ms
設定パラメータを設定できます。例えば、クライアントが 1 秒後に接続を再試行するようにする場合は、reconnect.backoff.ms
を 1000 に設定します。詳細については、Apache Kafka のドキュメントの reconnect.backoff.msを参照してください。 -
アカウントごとに最大 100 の構成。Service Quotas を通じて制限の引き上げをリクエストするには、Service Quotas コンソール
に移動します。 -
設定あたり最大 50 のリビジョン。
-
MSK クラスターの構成または Apache Kafka バージョンを更新するには、最初に、ブローカーごとのパーティションの数が クラスターの適切なサイズ設定: ブローカーあたりのパーティション数 で説明されている制限を下回っていることを確認します。
MSK レプリケータークォータ
アカウントあたり最大 15 個の MSK レプリケーター。
-
MSK Replicator は、ソート順に最大 750 のトピックのみをレプリケートします。より多くのトピックをレプリケートする必要がある場合は、別のレプリケーターを作成することをお勧めします。レプリケーターごとに 750 を超えるトピックのサポートが必要な場合は、Service Quotas コンソール
に移動します。レプリケートされるトピックの数は、「TopicCount」メトリクスを使用してモニタリングできます。 -
MSK レプリケーターごとに 1 秒あたり 1 GB の最大入力スループット。Service Quotas コンソール
を使用して、クオータの引き上げをリクエストします。 -
MSK Replicator レコードサイズ – 最大 10 MB のレコードサイズ (message.max.bytes)。Service Quotas コンソール
を使用して、クオータの引き上げをリクエストします。
MSK サーバーレス クォータ
注記
サービスクォータの制限に関する問題が発生した場合は、ユースケースとリクエストした制限を記載したサポートケースを作成してください。
ディメンション | クォータ | クォータ違反の結果 |
---|---|---|
最大入力スループット |
200 MBps |
レスポンスのスロットル時間による速度低下 |
最大出力スループット | 400 MBps |
レスポンスのスロットル時間による速度低下 |
最大保持期間 | 無制限 | 該当なし |
クライアント接続の最大数 |
3000 | 接続終了 |
最大接続試行回数 | 100/秒 | 接続終了 |
最大メッセージサイズ (MB) |
8 MB | リクエストの失敗 (エラーコード: INVALID_REQUEST) |
最大リクエストレート | 1 秒あたり 15,000 | レスポンスのスロットル時間による速度低下 |
トピック管理 API の最大リクエストレート |
2/秒 | レスポンスのスロットル時間による速度低下 |
リクエストあたりの最大フェッチバイト数 |
55 MB |
リクエストの失敗 (エラーコード: INVALID_REQUEST) |
ユーザーグループの最大数 |
500 | JoinGroup リクエストの失敗 |
パーティション (リーダー) の最大数 | 圧縮されていないトピックの場合は 2400、圧縮されたトピックの場合は 120。サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。 | リクエストの失敗 (エラーコード: INVALID_REQUEST) |
パーティションの作成と削除の最大レート | 5 分で 250 | リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED) |
パーティションあたりの最大入力スループット |
5 MBps | レスポンスのスロットル時間による速度低下 |
パーティションあたりの最大出力スループット |
10 MBps | レスポンスのスロットル時間による速度低下 |
最大パーティションサイズ (圧縮されたトピック用) |
250 GB | リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED) |
サーバーレスクラスターあたりのクライアント VPC の最大数 | 5 | |
アカウントあたりのサーバーレスクラスターの最大数 | 10. サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。 |
MSK Connect クォータ
最大 100 個のカスタムプラグイン。
-
最大 100 個のワーカー構成。
-
最大 60 人のコネクトワーカー。コネクタがオートスケーリングされた容量を持つように設定されている場合、コネクタが持つように設定されているワーカーの最大数は、MSK Connect がアカウントのクォータを計算するために使用する数です。
-
コネクタごとに最大 10 人のワーカー。
MSK Connect のクォータの引き上げをリクエストするには、Service Quotas コンソール