Quota d'Amazon MSK - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quota d'Amazon MSK

Votre AWS compte dispose de quotas par défaut pour Amazon MSK. Sauf indication contraire, chaque quota par compte est spécifique à la région de votre compte. AWS

Quota de courtiers Amazon MSK Standard

Quota de courtage standard
Dimension Quota Remarques
Courtiers par compte 90 Pour demander un quota plus élevé, accédez à la console Service Quotas.
Courtiers par cluster 30 pour les clusters ZooKeeper basés 60 pour les clusters KRaft basés Pour demander un quota plus élevé, accédez à la console Service Quotas.
Stockage minimum par courtier 1 Gio
Stockage maximal par courtier 16384 GiB
Nombre maximal de connexions TCP par courtier (contrôle d'accès IAM) 3000 Pour augmenter cette limite, vous pouvez ajuster la propriété listener.name.client_iam.max.connections ou la listener.name.client_iam_public.max.connections configuration à l'aide de l'AlterConfigAPI Kafka ou de l'kafka-configs.shoutil. Il est important de noter que l'augmentation de la valeur de l'une ou l'autre propriété peut entraîner une indisponibilité.
Taux de connexions TCP maximal par courtier (IAM) 100 par seconde (tailles d'instance M5 et M7g) 4 par seconde (taille d'instance t3) Pour gérer les tentatives en cas d'échec des connexions, vous pouvez définir le paramètre de configuration reconnect.backoff.ms côté client. Par exemple, si vous souhaitez qu'un client tente à nouveau de se connecter au bout d'une seconde, définissez ce paramètre surreconnect.backoff.ms. 1000 Pour plus d'informations, consultez reconnect.backoff.ms dans la documentation Apache Kafka.
Nombre maximal de connexions TCP par courtier (non IAM) N/A MSK n'impose pas de limites de connexion pour l'authentification non IAM. Vous devez surveiller d'autres indicateurs tels que l'utilisation du processeur et de la mémoire pour vous assurer de ne pas surcharger votre cluster en raison de connexions excessives.
Configurations par compte  100 Pour demander un quota plus élevé, accédez à la console Service Quotas.

Pour mettre à jour la configuration ou la version Apache Kafka d'un cluster MSK, assurez-vous d'abord que le nombre de partitions par agent est inférieur aux limites décrites dans Dimensionnez correctement votre cluster : nombre de partitions par courtier standard.

Révisions de configuration par compte 50

Quota de courtiers Amazon MSK Express

Quotas de courtage express
Dimension Quota Remarques
Courtiers par compte 90 Pour demander un quota plus élevé, accédez à la console Service Quotas.
Courtiers par cluster 30 Pour demander un quota plus élevé, accédez à la console Service Quotas.
Stockage maximum Illimité
Nombre maximal de connexions TCP par courtier (contrôle d'accès IAM) 3000
Taux de connexions TCP maximal par courtier (IAM) 100 par seconde Pour gérer les tentatives en cas d'échec des connexions, vous pouvez définir le paramètre de configuration reconnect.backoff.ms côté client. Par exemple, si vous souhaitez qu'un client tente à nouveau de se connecter au bout d'une seconde, définissez ce paramètre surreconnect.backoff.ms. 1000 Pour plus d'informations, consultez reconnect.backoff.ms dans la documentation Apache Kafka.
Nombre maximal de connexions TCP par courtier (non IAM) N/A MSK n'impose pas de limites de connexion pour l'authentification non IAM. Vous devez toutefois surveiller d'autres indicateurs tels que l'utilisation du processeur et de la mémoire pour vous assurer de ne pas surcharger votre cluster en raison de connexions excessives.
Configurations par compte  100 Pour demander un quota plus élevé, accédez à la console Service Quotas. Pour mettre à jour la configuration ou la version Apache Kafka d'un cluster MSK, assurez-vous d'abord que le nombre de partitions par agent est inférieur aux limites décrites dans Dimensionnez correctement votre cluster : nombre de partitions par courtier Express.
Révisions de configuration par compte 50
Nombre maximum d'entrées par courtier Recommandé : 15,6 - 500,0 MBps En fonction de la taille de l'instance.
Sortie maximale par courtier Recommandé : 31,2 - 1000,0 MBps En fonction de la taille de l'instance.

Limites de débit des courtiers express en fonction de la taille du courtier

Limites de débit d'Express Broker
Taille d’instance Limites d'accélération d'entrée par courtier () MBps Limites d'accélération de sortie par courtier () MBps
express.m7g.large 23,4 58,5
express.m7g.xlarge 46,8 117,0
express.m7g.2xlarge 93,7 234,2
express.m7g.4xlarge 187,5 468,7
express.m7g.8xlarge 375,0 937,5
express.m7g. 12 x large 562,5 1406,2
express.m7g.16xlarge 750,0 1875,0

Quotas du réplicateur MSK

  • Un maximum de 15 réplicateurs MSK par compte.

  • MSK Replicator ne réplique que 750 sujets par ordre trié. Si vous devez répliquer d'autres rubriques, nous vous recommandons de créer un réplicateur distinct. Accédez à la console Service Quotas si vous avez besoin d'assistance pour plus de 750 sujets par réplicateur. Vous pouvez contrôler le nombre de sujets répliqués à l'aide de la métrique « TopicCount ».

  • Un débit d'entrée maximal de 1 Go par seconde par réplicateur MSK. Demandez un quota plus élevé en passant par la console Service Quotas.

  • Taille d'enregistrement du réplicateur MSK : taille d'enregistrement maximale de 10 Mo (message.max.bytes). Demandez un quota plus élevé en passant par la console Service Quotas.

Quota de MSK sans serveur

Note

Si vous rencontrez un problème avec les limites de quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée.

Les limites s'appliquent par cluster, sauf indication contraire.
Dimension Quota Résultat de violation de quota

Débit d'entrée maximal

200 MBps

Ralentissement avec durée de limitation en réponse

Débit de sortie maximal 400 MBps

Ralentissement avec durée de limitation en réponse

Durée de conservation maximale Illimité N/A

Nombre maximal de connexions client

3000 Fermeture de connexion
Nombre maximal de tentatives de connexion 100 par seconde Fermeture de connexion

Taille maximale du message

8 Mo La requête échoue avec ErrorCode : INVALID_REQUEST
Taux maximal de demandes 15 000 par seconde Ralentissement avec durée de limitation en réponse

Taux maximal de APIs demandes de gestion de sujets

2 par seconde Ralentissement avec durée de limitation en réponse

Nombre maximal d'octets à récupérer par demande

55 Mo

La requête échoue avec ErrorCode : INVALID_REQUEST

Nombre maximal de groupes de consommateurs

500 JoinGroup la demande échoue
Nombre maximum de partitions (leaders) 2 400 pour les rubriques non compactées. 120 pour les rubriques compactées. Pour demander un ajustement du quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée. La requête échoue avec ErrorCode : INVALID_REQUEST
Taux maximal de création et de suppression de partitions 250 en 5 minutes La requête échoue avec ErrorCode : THROUGHPUT_QUOTA_EXCEDED

Débit d'entrée maximal par partition

5  MBps Ralentissement avec durée de limitation en réponse

Débit de sortie maximal par partition

10  MBps Ralentissement avec durée de limitation en réponse

Taille maximale de partition (pour les rubriques compactées)

250 Go La requête échoue avec ErrorCode : THROUGHPUT_QUOTA_EXCEDED
Nombre maximum de clients VPCs par cluster sans serveur 5
Nombre maximal de clusters sans serveur par compte 10. Pour demander un ajustement du quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée.

Quota de MSK Connect

  • Jusqu'à 100 plug-ins personnalisés.

  • Jusqu'à 100 configurations de worker.

  • Jusqu'à 60 workers de Connect. Si un connecteur est configuré pour avoir une capacité automatiquement mise à l'échelle, le nombre maximum de workers pour lequel le connecteur est configuré est le nombre utilisé par MSK Connect pour calculer le quota du compte.

  • Jusqu'à 10 workers par connecteur.

Pour demander un quota plus élevé pour MSK Connect, accédez à la console Service Quotas.