Cotas e limites - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cotas e limites

A tabela a seguir descreve as cotas de fluxos e fragmentos e os limites do Amazon Kinesis Data Streams.

Quota Modo sob demanda Modo provisionado

Número de fluxos de dados

Não há cota máxima no número de streams em sua AWS conta. Por padrão, pode-se criar até 50 fluxos de dados usando o modo de capacidade sob demanda. Se você precisar aumentar essa cota, crie um ticket de suporte.

Não há uma cota máxima para o número de fluxos em uma conta usando o modo provisionado.

Número de fragmentos

Não há limite máximo. O número de fragmentos depende da quantidade de dados ingeridos e do nível de throughput necessário. O Kinesis Data Streams escala automaticamente o número de fragmentos em resposta a mudanças no volume e no tráfego de dados.

Não há limite máximo. A cota de fragmentos padrão é de 500 fragmentos por AWS conta para as seguintes AWS regiões: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda). Para todas as outras regiões, a cota padrão de fragmentos é de 200 fragmentos por conta. AWS Para solicitar um aumento de cota de shards-per-data streaming, consulte Solicitando um aumento de cota.

Throughput do fluxo de dados

Por padrão, os novos fluxos de dados criados com o modo de capacidade sob demanda têm 4 MB/s of write and 8 MB/s de taxa de transferência de leitura. No Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda)Regiões da AWS, os fluxos de dados com o modo de capacidade sob demanda aumentam para até 10 capacidades de GB/s of write and 20 GB/s read throughput. For other Regions, data streams with the on-demand capacity mode scale up to 200 MB/s of write and 400 MB/s read throughput. If you require an increase up to 10 GB/s write and 20 GB/s leitura nessas regiões. Envie um ticket de suporte.

Não há limite máximo. A throughput máxima depende do número de fragmentos provisionados para o fluxo. Cada fragmento pode suportar até 1 taxa de transferência de MB/sec or 1,000 records/sec write throughput or up to 2 MB/sec or 2,000 records/sec leitura. Se precisar de mais capacidade de ingestão, você pode facilmente aumentar o número de fragmentos no stream usando o AWS Management Console ou o. UpdateShardCountAPI

Tamanho da carga útil de dados

O tamanho máximo da carga útil de dados de um registro antes da base64-encoding é de até 1 MB.

Tamanho da transação GetRecords

GetRecordspode recuperar até 10 MB de dados por chamada de um único fragmento e até 10.000 registros por chamada. Cada chamada para GetRecords é contada como uma transação de leitura. Cada fragmento pode oferecer suporte a até cinco transações de leitura por segundo. Cada transação de leitura pode fornecer até 10.000 registros com uma cota máxima de 10 MB por transação.

Taxa de leitura de dados por fragmento

Cada fragmento pode suportar até uma taxa máxima total de leitura de dados de 2 MB por segundo via GetRecords. Se uma chamada para GetRecords retornar 10 MB, as chamadas subsequentes feitas nos próximos 5 segundos lançarão uma exceção.

Número de consumidores registrados por fluxo de dados

Pode-se criar até 20 aplicações de consumo registradas (limite de distribuição avançada) para cada fluxo de dados.

Alternar entre os modos provisionado e sob demanda

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas. 

Limites do API

Como a maioria AWS APIs, as operações do Kinesis API Data Streams têm taxas limitadas. Os limites a seguir se aplicam por AWS conta por região. Para obter mais informações sobre o Kinesis APIs Data Streams, consulte a Referência do Amazon API Kinesis.

KDSAPILimites do plano de controle

A seção a seguir descreve os limites do plano KDS de controleAPIs. KDSO plano de controle APIs permite criar e gerenciar seus fluxos de dados. Esses limites se aplicam por AWS conta por região.

APILimites do plano de controle
API APIlimite de chamadas Por conta/fluxo  Descrição
AddTagsToStream 5 transações por segundo (TPS) Por conta 50 tags por fluxo de dados
CreateStream 5 TPS Por conta

Não há um cota máxima para o número de fluxos em uma conta. É enviada uma LimitExceededException ao fazer uma solicitação CreateStream tentando executar um dos seguintes procedimentos:

  • Ter mais de cinco fluxos no estado CREATING em qualquer momento.

  • Criar mais fragmentos do que o autorizado para sua conta.

DecreaseStreamRetentionPeriod 5 TPS Por fluxo O valor mínimo do período de retenção de um fluxo de dados é de 24 horas.
DeleteResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
DeleteStream 5 TPS Por conta
DeregisterStreamConsumer 5 TPS Por fluxo
DescribeLimits 1 TPS Por conta
DescribeStream 10 TPS Por conta
DescribeStreamConsumer 20 TPS Por fluxo
DescribeStreamSummary 20 TPS Por conta
DisableEnhancedMonitoring 5 TPS Por fluxo
EnableEnhancedMonitoring 5 TPS Por fluxo
GetResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
IncreaseStreamRetentionPeriod 5 TPS Por fluxo O valor máximo do período de retenção de um fluxo é de 8.760 horas (365 dias).
ListShards 1000 TPS Por fluxo
ListStreamConsumers 5 TPS Por fluxo
ListStreams 5 TPS Por conta
ListTagsForStream 5 TPS Por fluxo
MergeShards 5 TPS Por fluxo Aplicável somente no modo provisionado.
PutResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
RegisterStreamConsumer 5 TPS Por fluxo É possível registrar até 20 aplicaçõs de consumo por fluxo de dados. Uma aplicação de consumo só pode ser registrada em um fluxo de dados de cada vez. Apenas cinco aplicações de consumo podem ser criadas simultaneamente. Em outras palavras, não é possível ter mais de cinco aplicações de consumo com status CREATING ao mesmo tempo. Registrar a sexta aplicação de consumo quando há cinco com status CREATING
RemoveTagsFromStream 5 TPS Por fluxo
SplitShard 5 TPS Por fluxo Aplicável somente no modo provisionado
StartStreamEncryption Por fluxo Você pode aplicar com sucesso uma nova AWS KMS chave para criptografia do lado do servidor 25 vezes em um período contínuo de 24 horas.
StopStreamEncryption Por fluxo É possível desabilitar com êxito a criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
UpdateShardCount Por fluxo Aplicável somente no modo provisionado. O limite padrão no número de fragmentos é 10.000. Há limites adicionais para issoAPI. Para obter mais informações, consulte UpdateShardCount.
UpdateStreamMode Por fluxo

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas.

KDSAPILimites do plano de dados

A seção a seguir descreve os limites do plano KDS de dadosAPIs. KDSAPIso plano de dados permite que você use seus fluxos de dados para coletar e processar registros de dados em tempo real. Esses limites se aplicam por fragmento dentro dos fluxos de dados.

APILimites do plano de dados
API APIlimite de chamadas Limite de carga útil Outros detalhes
GetRecords 5 TPS O número máximo de registros que podem ser retornados por chamada é 10.000. O tamanho máximo de dados que GetRecords pode retornar é 10 MB. Se uma chamada retornar essa quantidade de dados, as chamadas subsequentes feitas nos próximos cinco segundos gerarão ProvisionedThroughputExceededException. Se não houver taxa de transferência provisionada suficiente no stream, as chamadas subsequentes feitas no próximo 1 segundo serão lançadas. ProvisionedThroughputExceededException
GetShardIterator 5 TPS Um iterador de fragmentos expira cinco minutos depois que é retornado ao solicitante. Se uma GetShardIterator solicitação for feita com muita frequência, você recebe uma ProvisionedThroughputExceededException.
PutRecord 1000 TPS Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
PutRecords Cada PutRecords solicitação pode suportar até 500 registros. Cada registro na solicitação pode ter no máximo 1 MB, até um limite de 5 MB para toda a solicitação, incluindo chaves de partição. Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
SubscribeToShard Você pode fazer uma chamada SubscribeToShard por segundo por consumidor registrado por fragmento. Se você ligar SubscribeToShard novamente com o mesmo consumidor ARN e ShardId dentro de 5 segundos de uma chamada bem-sucedida, você receberá umaResourceInUseException.

Aumento de cotas

É possível usar o Service Quotas para solicitar um aumento para uma cota, se a cota for ajustável. Algumas solicitações são resolvidas automaticamente, enquanto outras são enviadas ao AWS Support. Você pode acompanhar o status de uma solicitação de aumento de cota enviada ao AWS Support. Solicitações para aumentar as Cotas de Serviço não recebem suporte prioritário. Se você tiver uma solicitação urgente, entre em contato com o AWS Support. Para obter mais informações, consulte What is Service Quotas?

Para solicitar um aumento de cota de serviço, siga o procedimento descrito em Solicitar um aumento de cota.