Quote e limiti - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Quote e limiti

La tabella seguente descrive le quote e i limiti di stream e shard per Amazon Kinesis Data Streams.

Quota Modalità on demand Modalità assegnata

Numero di flussi di dati

Non esiste una quota massima per il numero di stream all'interno del tuo account. AWS Per impostazione predefinita, puoi creare fino a 50 flussi di dati con la modalità di capacità on demand. Se hai bisogno di un aumento di questa quota, invia una richiesta di assistenza.

Non è previsto un limite massimo per il numero di flussi con la modalità assegnata all'interno di un account.

Numero dle partizioni

Non vi è un limite superiore. Il numero di partizioni dipende dalla quantità di dati importati e dal livello di velocità di trasmissione effettiva richiesto. Il flusso di dati Kinesis dimensiona automaticamente il numero di partizioni in risposta alle variazioni del volume e del traffico dei dati.

Non vi è un limite superiore. La quota di shard predefinita è di 500 shard per AWS account per le seguenti AWS regioni: Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon) ed Europa (Irlanda). Per tutte le altre regioni, la quota predefinita di partizioni è 200 partizioni per account AWS . Per richiedere un aumento della quota di shards-per-data streaming, consulta Richiesta di aumento della quota.

Velocità di trasmissione effettiva del flusso di dati

Per impostazione predefinita, i nuovi flussi di dati creati con la modalità di capacità on demand hanno una velocità di trasmissione effettiva di 4 MB/s in scrittura e 8 MB/s in lettura. All'aumentare del traffico, i flussi di dati con la modalità di capacità on demand aumentano fino a 200 MB/s di velocità di trasmissione effettiva in scrittura e 400 MB/s in lettura. Se hai bisogno di aumentare la capacità di scrittura a 2 GB/s e quella di lettura a 4 GB/s, invia una richiesta di assistenza

Non vi è un limite superiore. La velocità di trasmissione effettiva massima dipende dal numero di partizioni fornite per il flusso. Ogni partizione può supportare una velocità di trasmissione effettiva di scrittura fino a 1 MB/s o 1.000 record/s o una velocità di trasmissione effettiva di lettura fino a 2 MB/s o 2.000 record/s. Se hai bisogno di una maggiore capacità di acquisizione, puoi facilmente aumentare il numero di shard nello stream utilizzando o il AWS Management Console . UpdateShardCountAPI

Dimensioni del payload di dati

La dimensione massima di payload di dati di un record prima della base64-encoding è 1 MB.

Dimensioni delle transazioni GetRecords

GetRecordspuò recuperare fino a 10 MB di dati per chiamata da un singolo shard e fino a 10.000 record per chiamata. Ogni chiamata GetRecords viene conteggiata come una transazione in lettura. Ogni shard può supportare fino a cinque operazioni di lettura al secondo. Ogni transazione di lettura può fornire un massimo di 10.000 record con una quota massima di 10 MiB per transazione.

Velocità di lettura dei dati per partizione

Ogni shard può supportare fino a una velocità di lettura totale massima dei dati di 2 MB al secondo tramite. GetRecords Se una chiamata a GetRecords restituisce 10 MiB, le successive chiamate effettuate nei prossimi 5 secondi generano un'eccezione.

Numero di consumer registrati per flusso di dati

Puoi creare fino a 20 consumer registrati (limite di fan-out avanzato) per ogni flusso di dati.

Passaggio dalla modalità assegnata a quella on demand

Per ogni flusso di dati nel tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella di capacità fornita due volte nell'arco di 24 ore. 

Limiti per API

Come la maggior parte AWS APIs, le operazioni di Kinesis API Data Streams hanno una velocità limitata. I seguenti limiti si applicano per account per regione. AWS Per ulteriori informazioni su Kinesis APIs Data Streams, consulta Amazon API Kinesis Reference.

KDSLimiti del piano di controllo API

La sezione seguente descrive i limiti per il piano KDS di controlloAPIs. KDSil piano di controllo APIs consente di creare e gestire i flussi di dati. Questi limiti si applicano per account AWS per regione.

Limiti del piano API di controllo
API APIlimite di chiamate Per account/flusso  Descrizione
AddTagsToStream 5 transazioni al secondo (TPS) Per account 50 tag per flusso di dati
CreateStream 5 TPS Per account

Non è prevista alcuna quota massima al numero di flussi che puoi avere in un account. Viene ricevuta una LimitExceededException quando si effettua una richiesta CreateStream e si prova a completare una delle seguenti operazioni:

  • Quando sono presenti più di cinque flussi nello stato CREATING in qualsiasi momento.

  • Quando crei più shard di quelli autorizzati per il tuo account.

DecreaseStreamRetentionPeriod 5 TPS Per flusso Il valore minimo del periodo di conservazione di un flusso di dati è di 24 ore.
DeleteResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
DeleteStream 5 TPS Per account
DeregisterStreamConsumer 5 TPS Per flusso
DescribeLimits 1 TPS Per account
DescribeStream 10 TPS Per account
DescribeStreamConsumer 20 TPS Per flusso
DescribeStreamSummary 20 TPS Per account
DisableEnhancedMonitoring 5 TPS Per flusso
EnableEnhancedMonitoring 5 TPS Per flusso
GetResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
IncreaseStreamRetentionPeriod 5 TPS Per flusso Il valore massimo del periodo di conservazione di un flusso è 8.760 ore (365 giorni).
ListShards 1000 TPS Per flusso
ListStreamConsumers 5 TPS Per flusso
ListStreams 5 TPS Per account
ListTagsForStream 5 TPS Per flusso
MergeShards 5 TPS Per flusso Applicabile solo per la capacità assegnata.
PutResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
RegisterStreamConsumer 5 TPS Per flusso Puoi registrare fino a 20 consumer per flusso di dati. Un determinato consumer può essere registrato a un solo flusso di dati alla volta. Possono essere creati contemporaneamente solo 5 consumer. In altre parole, non è possibile avere più di 5 consumer contemporaneamente in uno stato CREATING. Registrazione di un sesto consumer mentre ce ne sono 5 in un CREATING
RemoveTagsFromStream 5 TPS Per flusso
SplitShard 5 TPS Per flusso Applicabile solo per la capacità assegnata
StartStreamEncryption Per flusso È possibile applicare correttamente una nuova AWS KMS chiave per la crittografia lato server 25 volte nell'arco di 24 ore consecutive.
StopStreamEncryption Per flusso Puoi disabilitare correttamente la crittografia lato server 25 volte in un periodo di 24 ore.
UpdateShardCount Per flusso Applicabile solo per la capacità assegnata. Il limite predefinito per il numero di partizioni è 10.000. Ci sono limiti aggiuntivi a questo proposito. API Per ulteriori informazioni, vedere UpdateShardCount.
UpdateStreamMode Per flusso

Per ogni flusso di dati nel tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella di capacità fornita due volte nell'arco di 24 ore.

KDSLimiti del piano dati API

La sezione seguente descrive i limiti per il piano KDS datiAPIs. KDSil piano dati APIs consente di utilizzare i flussi di dati per la raccolta e l'elaborazione dei record di dati in tempo reale. Questi limiti si applicano per ogni shard all'interno dei flussi di dati.

Limiti del piano API dati
API APIlimite di chiamate Limite del payload Ulteriori dettagli
GetRecords 5 TPS Il numero massimo di record che è possibile restituire per chiamata è 10.000. La dimensione massima di dati che GetRecords può restituire è 10 MB. Se una chiamata restituisce questa quantità di dati, le chiamate successive effettuate entro i 5 secondi successivi genereranno ProvisionedThroughputExceededException. Se la velocità di trasmissione effettiva assegnata sul flusso non è sufficiente, le chiamate successive effettuate entro il successivo secondo genereranno ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Un iteratore shard scade 5 minuti dopo che è stato restituito al richiedente. Se una GetShardIterator richiesta viene effettuata troppo spesso, ricevi un ProvisionedThroughputExceededException.
PutRecord 1000 TPS Ogni shard può supportare scritture fino a 1.000 record al secondo, fino a un massimo di 1 MB al secondo in scrittura dei dati.
PutRecords Ogni PutRecords richiesta può supportare fino a 500 record. Ciascun record nella richiesta può avere una dimensione massima pari a 1 MB, con un limite a 5 MB, per l'intera richiesta, incluse le chiavi di partizione. Ogni shard può supportare scritture fino a 1.000 record al secondo, fino a un massimo di 1 MB al secondo in scrittura dei dati.
SubscribeToShard È possibile effettuare una chiamata al secondo SubscribeToShard per consumatore registrato per shard. Se chiami SubscribeToShard nuovamente con lo stesso consumatore ARN ed ShardId entro 5 secondi dall'esito positivo della chiamata, riceverai unResourceInUseException.

Aumento delle quote

È possibile utilizzare Service Quotas per richiedere un aumento per una quota, se la quota è regolabile. Alcune richieste vengono risolte automaticamente, mentre altre vengono inviate al supporto AWS . È possibile tenere traccia dello stato di una richiesta di aumento quota inviata al supporto AWS . Le richieste di aumento delle quote di servizio non ricevono supporto prioritario. Se hai una richiesta urgente, contatta l' AWS assistenza. Per ulteriori informazioni, consulta Cosa sono le Service Quotas?.

Per richiedere un aumento della quota di servizio, seguire la procedura descritta in Richiesta di un aumento di quota.