Quotas et limites - Amazon Kinesis Data Streams

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quotas et limites

Le tableau suivant décrit les quotas et les limites de flux et de partitions pour Amazon Kinesis Data Streams.

Quota Mode de capacité à la demande Mode alloué

Nombre de flux de données

Il n'y a pas de quota maximum pour le nombre de streams sur votre AWS compte. Par défaut, vous pouvez créer jusqu'à 50 flux de données en mode de capacité à la demande. Si vous avez besoin d'une augmentation de ce quota, veuillez créer un ticket d'assistance.

Il n'y a pas de quota maximum pour le nombre de flux en mode provisionné dans un compte.

Nombre de partitions

Il n'y a pas de limite supérieure. Le nombre de partitions dépend de la quantité de données ingérées et du niveau de débit requis. Kinesis Data Streams met automatiquement à l'échelle le nombre de partitions en fonction de l'évolution du volume de données et du trafic.

Il n'y a pas de limite supérieure. Le quota de partitions par défaut est de 500 partitions par AWS compte pour les AWS régions suivantes : USA Est (Virginie du Nord), USA Ouest (Oregon) et Europe (Irlande). Pour toutes les autres régions, le quota de partitions par défaut est de 200 partitions par compte  AWS . Pour demander une augmentation du quota de shards-per-data diffusion, consultez la section Demande d'augmentation de quota.

Débit du flux de données

Par défaut, les nouveaux flux de données créés en mode de capacité à la demande ont un débit de 4 Mo/s en écriture et de 8 Mo/s en lecture. À mesure que le trafic augmente, les flux de données en mode capacité à la demande atteignent un débit de 200 Mo/s en écriture et de 400 Mo/s en lecture. Si vous avez besoin d'augmenter la capacité d'écriture à 2 Go/s et la capacité de lecture à 4 Go/s, soumettez un ticket d'assistance

Il n'y a pas de limite supérieure. Le débit maximal dépend du nombre de partitions provisionnées pour le flux. Chaque partition peut prendre en charge un débit d'écriture allant jusqu'à 1 Mo/s ou 1 000 enregistrements/s ou un débit de lecture allant jusqu'à 2 Mo/s ou 2 000 enregistrements/s. Si vous avez besoin d'une plus grande capacité d'ingestion, vous pouvez facilement augmenter le nombre de partitions dans le flux en utilisant le AWS Management Console ou le. UpdateShardCountAPI

Taille de la charge utile des données

La taille maximale de la charge utile de données d'un enregistrement avant base64-encoding est de jusqu'à 1 Mo.

Taille de la transaction GetRecords

GetRecordspeut récupérer jusqu'à 10 Mo de données par appel à partir d'une seule partition, et jusqu'à 10 000 enregistrements par appel. Chaque appel à GetRecords est compté comme une seule transaction de lecture. Chaque partition peut prendre en charge jusqu'à cinq transactions de lecture par seconde. Chaque transaction de lecture peut fournir jusqu'à 10 000 enregistrements avec un quota supérieur de 10 Mo par transaction.

Débit de lecture des données par partition

Chaque partition peut prendre en charge un taux de lecture de données total maximal de 2 Mo par seconde via GetRecords. Si un appel à GetRecords renvoie 10 Mo, les appels suivants effectués dans un délai de 5 secondes génèrent une exception.

Nombre de consommateurs enregistrés par flux de données

Vous pouvez créer jusqu'à 20 consommateurs enregistrés (limite de débit amélioré Enhanced Fan-out) pour chaque flux de données.

Basculement entre les modes provisionné et à la demande

Pour chaque flux de données de votre AWS compte, vous pouvez passer du mode à la demande au mode capacité provisionnée à deux reprises en 24 heures. 

Limites API

Comme la plupart des opérations AWS APIs, les opérations Kinesis Data API Streams sont limitées en débit. Les limites suivantes s'appliquent par AWS compte et par région. Pour plus d'informations sur Kinesis Data APIs Streams, consultez le API Amazon Kinesis Reference.

KDSAPILimites du plan de contrôle

La section suivante décrit les limites du plan KDS de contrôleAPIs. KDSun plan de contrôle vous APIs permet de créer et de gérer vos flux de données. Ces limites s'appliquent par compte et par région  AWS .

APILimites du plan de contrôle
API APIlimite d'appels Par compte/flux  Description
AddTagsToStream 5 transactions par seconde (TPS) Par compte 50 balises par flux de données
CreateStream 5 TPS Par compte

Il n'existe pas de quota supérieur au nombre de flux que vous pouvez avoir dans un compte. Vous recevez une LimitExceededException lors d'une requête CreateStream lorsque vous essayez d'effectuer l'une des opérations suivantes :

  • Avoir plus de cinq flux dans l'état CREATING à tout moment.

  • Créez plus de fragments que ceux autorisés pour votre compte.

DecreaseStreamRetentionPeriod 5 TPS Par flux La valeur minimale de la période de rétention d'un flux de données est de 24 heures.
DeleteResourcePolicy 5 TPS Par compte Si vous avez besoin d'une augmentation de cette limite, veuillez créer un Ticket d'assistance.
DeleteStream 5 TPS Par compte
DeregisterStreamConsumer 5 TPS Par flux
DescribeLimits 1 TPS Par compte
DescribeStream 10 TPS Par compte
DescribeStreamConsumer 20 TPS Par flux
DescribeStreamSummary 20 TPS Par compte
DisableEnhancedMonitoring 5 TPS Par flux
EnableEnhancedMonitoring 5 TPS Par flux
GetResourcePolicy 5 TPS Par compte Si vous avez besoin d'une augmentation de cette limite, veuillez créer un Ticket d'assistance.
IncreaseStreamRetentionPeriod 5 TPS Par flux La valeur maximale de la période de conservation d'un flux est de 8 760  heures (365 jours).
ListShards 1000 TPS Par flux
ListStreamConsumers 5 TPS Par flux
ListStreams 5 TPS Par compte
ListTagsForStream 5 TPS Par flux
MergeShards 5 TPS Par flux Uniquement applicable aux flux provisionnés.
PutResourcePolicy 5 TPS Par compte Si vous avez besoin d'une augmentation de cette limite, veuillez créer un Ticket d'assistance.
RegisterStreamConsumer 5 TPS Par flux Vous pouvez enregistrer jusqu'à 20 consommateurs par flux de données. Une application consommateur donnée ne peut être enregistrée qu'auprès d'un flux de données à la fois. Seuls 5 consommateurs peuvent être créés simultanément. En d'autres termes, vous ne pouvez pas avoir plus de 5 consommateurs dans un état CREATING en même temps. Enregistrement d'un 6e consommateur alors qu'il y en a 5 dans un état CREATING
RemoveTagsFromStream 5 TPS Par flux
SplitShard 5 TPS Par flux Uniquement applicable aux flux provisionnés
StartStreamEncryption Par flux Vous pouvez appliquer avec succès une nouvelle AWS KMS clé pour le chiffrement côté serveur 25 fois sur une période continue de 24 heures.
StopStreamEncryption Par flux Vous pouvez désactiver le chiffrement côté serveur 25 fois sur une période de 24 heures.
UpdateShardCount Par flux Uniquement applicable aux flux provisionnés. La limite par défaut du nombre de partitions est de 10 000. Il existe des limites supplémentaires à ce sujetAPI. Pour plus d'informations, consultez UpdateShardCount.
UpdateStreamMode Par flux

Pour chaque flux de données de votre AWS compte, vous pouvez passer du mode à la demande au mode capacité provisionnée à deux reprises en 24 heures.

KDSAPILimites du plan de données

La section suivante décrit les limites du plan KDS de donnéesAPIs. KDSle plan de données vous APIs permet d'utiliser vos flux de données pour collecter et traiter des enregistrements de données en temps réel. Ces limites s'appliquent par partition dans vos flux de données.

APILimites du plan de données
API APIlimite d'appels Limite de charge utile Informations supplémentaires
GetRecords 5 TPS Le nombre maximal d'enregistrements pouvant être renvoyés par appel est de 10 000. La taille maximale des données que GetRecords peut renvoyer est de 10 Mo. Si un appel renvoie cette quantité de données, les appels ultérieurs effectués dans les 5 secondes suivantes lancent ProvisionedThroughputExceededException. Si le débit provisionné sur le flux est insuffisant, les appels ultérieurs effectués au cours de la prochaine seconde lancent ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Un intérateur de partition expire cinq minutes après avoir été renvoyé au demandeur. Si une GetShardIterator demande est faite trop souvent, vous recevez un ProvisionedThroughputExceededException.
PutRecord 1000 TPS Chaque partition peut prendre en charge des écritures jusqu'à 1 000 enregistrements par seconde, jusqu'à un total d'écritures de données maximal de 1 Mo par seconde.
PutRecords Chaque PutRecords demande peut prendre en charge jusqu'à 500 enregistrements. Chaque enregistrement de la demande peut atteindre 1 Mo, jusqu'à une limite de 5 Mo pour l'ensemble de la demande, y compris les clés de partition. Chaque partition peut prendre en charge des écritures jusqu'à 1 000 enregistrements par seconde, jusqu'à un total d'écritures de données maximal de 1 Mo par seconde.
SubscribeToShard Vous pouvez effectuer un appel SubscribeToShard par seconde par consommateur enregistré par partition. Si vous appelez SubscribeToShard à nouveau avec le même consommateur ARN et ShardId dans les 5 secondes suivant un appel réussi, vous recevrez unResourceInUseException.

Augmentation des quotas

Vous pouvez utiliser Service Quotas pour demander l'augmentation d'un quota, si ce dernier est ajustable. Certaines demandes sont automatiquement résolues, tandis que d'autres sont soumises à AWS Support. Vous pouvez suivre l'état d'une demande d'augmentation de quota envoyée à AWS Support. Les demandes d'augmentation des quotas de service ne reçoivent pas de soutien prioritaire. Si vous avez une demande urgente, contactez le AWS Support. Pour plus d'informations, consultez Qu'est-ce que Service Quotas ?.

Pour demander une augmentation du quota de service, suivez la procédure décrite sous Demande d'augmentation d'un quota.