View a markdown version of this page

Quote e limiti - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Quote e limiti

La tabella seguente descrive le quote e i limiti di stream e shard per Amazon Kinesis Data Streams.

Quota On-demand modalità Modalità provisioning

Numero di flussi di dati

Non è prevista una quota massima per il numero di stream all'interno del tuo AWS account. Per impostazione predefinita, puoi creare fino a 50 flussi di dati con la modalità di capacità on demand. Se hai bisogno di aumentare questa quota, crea un ticket di assistenza.

Non è prevista una quota massima per il numero di stream con la modalità predisposta all'interno di un account.

Numero dle partizioni

Non esiste un limite massimo. Il numero di partizioni dipende dalla quantità di dati importati e dal livello di velocità di trasmissione effettiva richiesto. Il flusso di dati Kinesis dimensiona automaticamente il numero di partizioni in risposta alle variazioni del volume e del traffico dei dati.

Non c'è un limite massimo. La quota predefinita di frammenti è di 20.000 frammenti Account AWS per quanto segue: Regioni AWS

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti occidentali (Oregon)

  • Europa (Irlanda)

Per tutte le altre regioni, la quota predefinita di frammenti è di 1.000 o 6.000 frammenti per. Account AWS Puoi visualizzare la quota e l'utilizzo degli shard del tuo account tramite la console Service Quotas all'indirizzo. https://console.aws.amazon.com/servicequotas/

Per richiedere un aumento della quota di shard, utilizza la console Service Quotas o. AWS CLI Per ulteriori informazioni, consulta la sezione Richiesta di un aumento di quota.

Velocità di trasmissione effettiva del flusso di dati

Per impostazione predefinita, i nuovi flussi di dati creati con la modalità di capacità su richiesta hanno una velocità effettiva MB/s di 4 in scrittura e 8 MB/s in lettura. Negli Stati Uniti orientali (Virginia settentrionale), negli Stati Uniti occidentali (Oregon) e in Europa (Irlanda) Regioni AWS, i flussi di dati con la modalità di capacità su richiesta scalano fino al 10% GB/s del throughput in scrittura e 20 in lettura. GB/s Per le altre regioni, i flussi di dati con la modalità di capacità su richiesta sono scalabili fino a 200 MB/s in scrittura e 400 in lettura. MB/s Se hai bisogno di aumentare fino a 10 la capacità di GB/s scrittura e 20 di GB/s lettura per queste regioni, invia un ticket di supporto.

Non vi è un limite superiore. La velocità di trasmissione effettiva massima dipende dal numero di partizioni fornite per il flusso. Ogni frammento può supportare fino a 1 MB/sec o 1.000 velocità di records/sec scrittura o fino a 2 MB/sec o 2.000 velocità di records/sec lettura. Se hai bisogno di una maggiore capacità di acquisizione, puoi facilmente aumentare il numero di shard nello stream utilizzando o l'API. Console di gestione AWS UpdateShardCount

Dimensioni del payload di dati

La dimensione massima del payload di dati di un record precedente base64-encoding è fino a 10 MiB. Kinesis è progettato per gestire record intermittenti di grandi dimensioni (da 1 a 10 MiB) utilizzando la capacità di burst.

Dimensioni delle transazioni GetRecords

GetRecordsè in grado di recuperare fino a 10 MB di dati per chiamata da un singolo frammento e fino a 10.000 record per chiamata. Ogni chiamata GetRecords viene conteggiata come una transazione in lettura. Ogni shard può supportare fino a cinque operazioni di lettura al secondo. Ogni transazione di lettura può fornire un massimo di 10.000 record con una quota massima di 10 MiB per transazione.

Velocità di lettura dei dati per partizione

Ogni shard può supportare fino a una velocità totale massima di lettura dei dati di 2 MB al secondo tramite. GetRecords Se una chiamata a GetRecords restituisce 10 MiB, le successive chiamate effettuate nei prossimi 5 secondi generano un'eccezione.

Numero di consumer registrati per flusso di dati

Con la modalità Kinesis On-demand Advantage, puoi creare fino a 50 consumatori registrati (Enhanced Fan-out). Con le modalità Kinesis On-Demand Standard e Kinesis Provisioned, è possibile creare fino a 20 consumatori registrati (Enhanced Fan-out Limit) per ogni flusso di dati.

Passaggio dalla modalità assegnata a quella on demand

Per ogni flusso di dati del tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella con provisioning due volte nell'arco di 24 ore. 

Tabelle di streaming e distribuzione Amazon S3

Per le quote e i limiti che si applicano alle tabelle di streaming e alla distribuzione di Amazon S3, consulta. Quote e limiti di consegna

Non supportato. Le tabelle di streaming e la distribuzione di Amazon S3 richiedono la modalità di capacità su richiesta.

Limiti delle API

Come la maggior parte delle AWS API, le operazioni delle API di Kinesis Data Streams hanno una velocità limitata. I seguenti limiti si applicano per account e regione. AWS Per ulteriori informazioni sulle API del flusso di dati Kinesis, consulta la Documentazione di riferimento delle API di Amazon Kinesis.

Limiti per l'API del piano di controllo KDS

Nella sezione seguente sono indicati i limiti per le API del piano di controllo KDS. Le API del piano di controllo KDS ti consentono di creare e gestire i tuoi flussi di dati. Questi limiti si applicano per AWS account e regione.

Limiti per l'API del piano di controllo
"Hello, World!" Limite di chiamata API Per Account/Stream  Description
AddTagsToStream 5 transazioni al secondo (TPS) Per account 50 tag per flusso di dati
CreateStream 5 TPS Per account

Non è prevista alcuna quota massima al numero di flussi che puoi avere in un account. Viene ricevuta una LimitExceededException quando si effettua una richiesta CreateStream e si prova a completare una delle seguenti operazioni:

  • Quando sono presenti più di cinque flussi nello stato CREATING in qualsiasi momento.

  • Quando crei più shard di quelli autorizzati per il tuo account.

DecreaseStreamRetentionPeriod 5 TPS Per flusso Il valore minimo del periodo di conservazione di un flusso di dati è di 24 ore.
DeleteResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
DeleteStream 5 TPS Per account
DeregisterStreamConsumer 5 TPS Per flusso
DescribeAccountSettings 5 TPS Per account
DescribeLimits 1 TPS Per account
DescribeStream 10 TPS Per account
DescribeStreamConsumer 20 TPS Per flusso
DescribeStreamSummary 20 TPS Per account
DisableEnhancedMonitoring 5 TPS Per flusso
EnableEnhancedMonitoring 5 TPS Per flusso
GetResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
IncreaseStreamRetentionPeriod 5 TPS Per flusso Il valore massimo del periodo di conservazione di un flusso è 8.760 ore (365 giorni).
ListShards 1000 TPS Per flusso
ListStreamConsumers 5 TPS Per flusso
ListStreams 5 TPS Per account
ListTagsForStream 5 TPS Per flusso
MergeShards 5 TPS Per flusso Applicabile solo per la capacità assegnata.
PutResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
RegisterStreamConsumer 5 TPS Per flusso Puoi registrare fino a 20 consumer per flusso di dati. Un determinato consumer può essere registrato a un solo flusso di dati alla volta. Possono essere creati contemporaneamente solo 5 consumer. In altre parole, non è possibile avere più di 5 consumer contemporaneamente in uno stato CREATING.
RemoveTagsFromStream 5 TPS Per flusso
SplitShard 5 TPS Per flusso Applicabile solo per la capacità assegnata
StartStreamEncryption Per flusso È possibile applicare correttamente una nuova chiave AWS KMS per la crittografia lato server 25 volte in un periodo consecutivo di 24 ore.
StopStreamEncryption Per flusso Puoi disabilitare correttamente la crittografia lato server 25 volte in un periodo di 24 ore.
UpdateShardCount Per flusso Applicabile solo per la capacità assegnata. Il limite predefinito per il numero di frammenti è 10.000. Esistono limiti aggiuntivi per questa API. Per ulteriori informazioni, consulta UpdateShardCount.
UpdateStreamMode Per flusso

Per ogni flusso di dati nel tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella con provisioning due volte nell'arco di 24 ore.

UpdateStreamWarmThroughput 5 TPS Per account Il throughput massimo che può essere configurato è il limite di throughput del flusso di dati della modalità on demand per l'account e la regione.
UpdateAccountSettings 5 TPS Per account Abilita o disabilita le impostazioni dell'account, ad esempio la modalità Advantage On-demand .

Limiti per l'API KDS Data Plane

Nella sezione seguente vengono descritti i limiti per le API di KDS Data Plane. Le API di KDS Data Plane consentono di utilizzare i flussi di dati per raccogliere ed elaborare i record di dati in tempo reale. Questi limiti si applicano per ogni shard all'interno dei flussi di dati.

Limiti per l'API Data Plane
"Hello, World!" Limite di chiamata API Limite del payload Ulteriori dettagli
GetRecords 5 TPS Il numero massimo di record che è possibile restituire per chiamata è 10.000. La dimensione massima di dati che GetRecords può restituire è 10 MB. Se una chiamata restituisce questa quantità di dati, le chiamate successive effettuate entro i 5 secondi successivi genereranno ProvisionedThroughputExceededException. Se il throughput previsto sullo stream è insufficiente, le chiamate successive vengono effettuate entro il successivo 1 secondo. ProvisionedThroughputExceededException
GetShardIterator 5 TPS Un iteratore shard scade 5 minuti dopo che è stato restituito al richiedente. Se una GetShardIterator richiesta viene effettuata troppo spesso, riceverai un. ProvisionedThroughputExceededException
PutRecord 1000 TPS Ogni shard può supportare la scrittura fino a 1.000 record al secondo, fino a un totale massimo di scrittura di dati di 10 MiB al secondo. Kinesis è progettato per gestire record intermittenti di grandi dimensioni (da 1 a 10 MiB) utilizzando la capacità di burst.
PutRecords Ogni PutRecords richiesta può supportare fino a 500 record. Ogni record della richiesta può pesare fino a 10 MiB, fino a un limite di 10 MiB per l'intera richiesta, incluse le chiavi di partizione. Ogni shard può supportare scritture fino a 1.000 record al secondo, fino a un massimo di 1 MB al secondo in scrittura dei dati. Kinesis è progettato per gestire record intermittenti di grandi dimensioni (da 1 a 10 MiB) utilizzando la capacità burst.
SubscribeToShard È possibile effettuare una chiamata al SubscribeToShard secondo per utente registrato per frammento. Se chiami di SubscribeToShard nuovo con lo stesso ConsumerArn ed ShardId entro 5 secondi dall'esito positivo della chiamata, riceverai un. ResourceInUseException

Aumento delle quote

È possibile utilizzare Service Quotas per richiedere un aumento per una quota, se la quota è regolabile. Alcune richieste vengono risolte automaticamente, mentre altre vengono inviate all'assistenza. AWS Puoi monitorare lo stato di una richiesta di aumento della quota inviata al AWS Supporto. Le richieste di aumento delle quote di servizio non ricevono assistenza prioritaria. Se hai una richiesta urgente, contatta l' AWS assistenza. Per ulteriori informazioni, consulta Cosa sono le Service Quotas?.

Per richiedere un aumento della quota di servizio, seguire la procedura descritta in Richiesta di un aumento di quota.