Limites - Guia do desenvolvedor do Amazon Kinesis Data Analytics SQL para aplicativos

Para novos projetos, recomendamos que você use o novo Managed Service para Apache Flink Studio em vez do Kinesis Data Analytics for Applications. SQL O Managed Service for Apache Flink Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicativos sofisticados de processamento de stream em minutos.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Limites

Ao trabalhar com o Amazon Kinesis Data Analytics para aplicativos SQL, observe os seguintes limites:

  • O Kinesis Data Analytics para SQL está disponível nas seguintes Regiões AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Canadá (Central), Europa (Paris), Europa (Irlanda), Europa (Frankfurt), Europa (Londres), Europa (Paris), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Seul), Ásia-Pacífico (Sydney), Ásia-Pacífico (Singapura), Ásia-Pacífico (Tóquio), América do Sul (São Paulo), AWS GovCloud (Leste dos EUA) e AWS GovCloud (Oeste dos EUA). Não temos planos de lançar o Kinesis Data Analytics para SQL em regiões AWS adicionais.

  • Depois de 28 de junho de 2023, você não poderá criar novos aplicativos Kinesis Data Analytics para SQL usando o console de gestão AWS se ainda não estiver usando o Kinesis Data Analytics para SQL. Se você criou um aplicativo Kinesis Data Analytics para SQL antes de 28 de junho de 2023, não haverá alterações na forma como você cria e executa aplicativos hoje em uma região AWS em que você já usa o Kinesis Data Analytics para SQL. No entanto, você não poderá mais criar novos aplicativos usando o console AWS em uma região onde não usa o Kinesis Data Analytics para SQL.

  • Depois de 12 de setembro de 2023, você não poderá criar novos aplicativos usando o Kinesis Data Firehose como fonte se ainda não estiver usando o Kinesis Data Analytics for SQL. Os clientes atuais que usam o Kinesis Data Analytics para aplicativos SQL com KinesisFirehoseInput podem continuar adicionando aplicativos com KinesisFirehoseInput em uma conta existente usando o Kinesis Data Analytics. Se você já é cliente e deseja criar uma nova conta com os aplicativos Kinesis Data Analytics para SQL com KinesisFirehoseInput, você pode criar um caso de suporte. Para obter mais informações, consulte a Central AWS Support.

  • O tamanho de uma linha em um stream no aplicativo é limitado a 512 KB. O Kinesis Data Analytics usa até 1 KB para armazenar metadados. Esses metadados são contados em relação ao limite de linhas.

     

  • O código SQL em um aplicativo limita-se a 100 KB.

     

  • A janela mais longa que recomendamos para uma consulta em janela é de uma hora. Os fluxos no aplicativo são armazenados em armazenamento volátil, e interrupções inesperadas do aplicativo farão com que ele recrie o fluxo a partir dos dados de origem no armazenamento volátil.

     

  • A maior taxa de transferência que recomendamos para um único fluxo no aplicativo é entre 2 e 20 MB/segundo, dependendo da complexidade da consulta do aplicativo.

     

  • Você pode criar até 50 aplicativos do Kinesis Data Analytics por região AWS na sua conta. Você pode criar um caso para solicitar aplicativos adicionais por meio do formulário de aumento de limite de serviço. Para obter mais informações, consulte a Central AWS Support.

     

  • O throughput máximo de streaming que um único aplicativo Kinesis Data Analytics para SQL pode processar é de aproximadamente 100 MB/seg. Isso pressupõe que você tenha aumentado o número de fluxos no aplicativo para o valor máximo de 64 e que tenha aumentado o limite de KPU para acima de 8 (veja o limite a seguir para obter detalhes). Se o aplicativo precisar processar mais de 100 MB/s de entrada, realize uma das seguintes ações:

    nota

    Recomendamos revisar periodicamente a métrica InputProcessing.OkBytes do seu aplicativo para que você possa planejar com antecedência o uso de vários aplicativos SQL ou migrar para Aplicativos Managed Service for for Apache Flink para Java se o throughput de entrada projetado do seu aplicativo exceder 100 MB/seg. Também recomendamos a criação de um alarme do CloudWatch em InputProcessing.OkBytes para que você seja notificado quando seu aplicativo estiver próximo do limite do throughput de entrada. Isso pode ser útil, pois você pode atualizar a consulta do aplicativo para compensar por um maior throughput, evitando assim a contrapressão e o atraso na análise. Para obter mais informações, consulte Solução de problemas. O alarme também pode ser útil se você tiver um mecanismo para reduzir o throughput upstream.

  • A quantidade máxima de unidades de processamento do Kinesis (KPU) é oito. Para obter instruções sobre como solicitar um aumento desse limite, consulte Para solicitar um aumento de limite em Limites de serviço da Amazon.

     

    Com o Kinesis Data Analytics você paga apenas pelo que usa. É cobrada uma taxa por hora com base no número médio de KPUs usadas para executar o aplicativo de processamento de streams. Uma única KPU oferece 1 vCPU e 4 GB de memória.

     

  • Cada aplicativo pode ter uma origem de streaming e até uma fonte de dados de referência.

     

  • Você pode configurar até três destinos para o seu aplicativo Kinesis Data Analytics. É recomendável que você use um dos seguintes destinos para manter os dados do fluxo de erros de aplicativo.

     

  • O objeto do Amazon S3 que armazena dados de referência pode chegar a um tamanho de até 1 GB.

     

  • Se você alterar os dados de referência armazenados no bucket do S3 após fazer upload desses dados para uma tabela do aplicativo, será necessário usar a operação UpdateApplication (usando a API ou a AWS CLI) para atualizar os dados nessa tabela. No momento, o AWS Management Console não oferece suporte à atualização dos dados de referência no aplicativo.

     

  • No momento, o Kinesis Data Analytics não é compatível com os dados gerados pelo Amazon Kinesis Producer Library (KPL).

     

  • Você pode atribuir até 50 tags por aplicativo.