Amazon MSK クォータ - Amazon Managed Streaming for Apache Kafka

Amazon MSK クォータ

AWS アカウントには、Amazon MSK のデフォルトのクォータがあります。特に明記されていない限り、アカウントごとの各クォータは AWS アカウント内のリージョンに固有です。

Amazon MSK クォータ

  • アカウントあたり最大 90 ブローカー。ZooKeeper モードクラスターあたり 30 ブローカー。KRaft モードクラスターあたり 60 ブローカー。クォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。

  • ブローカーごとに最低 1 GiB のストレージ。

  • ブローカーごとに最大 16384 GiB のストレージ。

  • IAM アクセスコントロール を使用するクラスターは、ブローカーごとに常に最大 3000 の TCP 接続を持つことができます。この制限を増やす場合は、Kafka AlterConfig API または kafka-configs.sh ツールを使用して、listener.name.client_iam.max.connections または listener.name.client_iam_public.max.connections 設定プロパティを調整できます。いずれかのプロパティを高い値に増やすと、使用できなくなる可能性があることに注意してください。

  • TCP 接続の制限。接続率バースト機能を有効にすると、MSK は 1 秒あたり 100 の接続を許可します。例外は kafka.t3.small インスタンスタイプで、接続率バースト機能が有効になっている状態で、1 秒あたり 4 の接続が許可されます。接続率バースト機能が有効になっていない古いクラスターでは、クラスターにパッチが適用されたときにこの機能が自動的に有効になります。

    接続に失敗した場合の再試行を処理するには、クライアント側で reconnect.backoff.ms 設定パラメータを設定できます。例えば、クライアントが 1 秒後に接続を再試行するようにする場合は、reconnect.backoff.ms を 1000 に設定します。詳細については、Apache Kafka のドキュメントの reconnect.backoff.msを参照してください。

  • アカウントごとに最大 100 の構成。Service Quotas を通じて制限の引き上げをリクエストするには、Service Quotas コンソールに移動します。

  • 設定あたり最大 50 のリビジョン。

  • MSK クラスターの構成または Apache Kafka バージョンを更新するには、最初に、ブローカーごとのパーティションの数が クラスターの適切なサイズ設定: ブローカーあたりのパーティション数 で説明されている制限を下回っていることを確認します。

MSK レプリケータークォータ

  • アカウントあたり最大 15 個の MSK レプリケーター。

  • MSK Replicator は、ソート順に最大 750 のトピックのみをレプリケートします。より多くのトピックをレプリケートする必要がある場合は、別のレプリケーターを作成することをお勧めします。レプリケーターごとに 750 を超えるトピックのサポートが必要な場合は、Service Quotas コンソールに移動します。レプリケートされるトピックの数は、「TopicCount」メトリクスを使用してモニタリングできます。

  • MSK レプリケーターごとに 1 秒あたり 1 GB の最大入力スループット。Service Quotas コンソールを使用して、クオータの引き上げをリクエストします。

  • MSK Replicator レコードサイズ – 最大 10 MB のレコードサイズ (message.max.bytes)。Service Quotas コンソールを使用して、クオータの引き上げをリクエストします。

MSK サーバーレス クォータ

注記

サービスクォータの制限に関する問題が発生した場合は、ユースケースとリクエストした制限を記載したサポートケースを作成してください。

特に明記されていない限り、制限はクラスターあたりの制限です。
ディメンション クォータ クォータ違反の結果

最大入力スループット

200 MBps

レスポンスのスロットル時間による速度低下

最大出力スループット 400 MBps

レスポンスのスロットル時間による速度低下

最大保持期間 無制限 該当なし

クライアント接続の最大数

3000 接続終了
最大接続試行回数 100/秒 接続終了

最大メッセージサイズ (MB)

8 MB リクエストの失敗 (エラーコード: INVALID_REQUEST)
最大リクエストレート 1 秒あたり 15,000 レスポンスのスロットル時間による速度低下

トピック管理 API の最大リクエストレート

2/秒 レスポンスのスロットル時間による速度低下

リクエストあたりの最大フェッチバイト数

55 MB

リクエストの失敗 (エラーコード: INVALID_REQUEST)

ユーザーグループの最大数

500 JoinGroup リクエストの失敗
パーティション (リーダー) の最大数 圧縮されていないトピックの場合は 2400、圧縮されたトピックの場合は 120。サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。 リクエストの失敗 (エラーコード: INVALID_REQUEST)
パーティションの作成と削除の最大レート 5 分で 250 リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED)

パーティションあたりの最大入力スループット

5 MBps レスポンスのスロットル時間による速度低下

パーティションあたりの最大出力スループット

10 MBps レスポンスのスロットル時間による速度低下

最大パーティションサイズ (圧縮されたトピック用)

250 GB リクエストの失敗 (エラーコード: THROUGHPUT_QUOTA_EXCEEDED)
サーバーレスクラスターあたりのクライアント VPC の最大数 5
アカウントあたりのサーバーレスクラスターの最大数 10. サービスクォータの調整をリクエストするには、ユースケースとリクエストした制限を記載したサポートケースを作成します。

MSK Connect クォータ

  • 最大 100 個のカスタムプラグイン。

  • 最大 100 個のワーカー構成。

  • 最大 60 人のコネクトワーカー。コネクタがオートスケーリングされた容量を持つように設定されている場合、コネクタが持つように設定されているワーカーの最大数は、MSK Connect がアカウントのクォータを計算するために使用する数です。

  • コネクタごとに最大 10 人のワーカー。

MSK Connect のクォータの引き上げをリクエストするには、Service Quotas コンソールに移動します。