Após uma análise cuidadosa, decidimos descontinuar o Amazon Kinesis Data Analytics SQL para aplicativos em duas etapas:

1. A partir de 15 de outubro de 2025, você não poderá criar um novo Kinesis Data Analytics SQL para aplicativos.

2. Excluiremos seus aplicativos a partir de 27 de janeiro de 2026. Você não poderá iniciar ou operar seu Amazon Kinesis Data Analytics SQL para aplicativos. O suporte não estará mais disponível para o Amazon Kinesis Data Analytics SQL a partir desse momento. Para obter mais informações, consulte Descontinuação do Amazon Kinesis Data Analytics SQL para aplicativos.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Paralelização dos streams de entrada para aumentar a taxa de transferência

Os aplicativos do Amazon Kinesis Data Analytics podem oferecer suporte a vários streams de entrada no aplicativo para escalar um aplicativo além do throughput de um único stream de entrada no aplicativo. Para obter mais informações sobre streams de entrada no aplicativo, consulte Amazon Kinesis Data Analytics para aplicativos SQL: como funciona.

Em quase todos os casos, o Amazon Kinesis Data Analytics escala seu aplicativo para lidar com a capacidade dos streams do Kinesis ou dos streams de origem do Firehose que alimentam seu aplicativo. No entanto, se a taxa de transferência do stream de origem exceder a taxa de transferência de um único stream de entrada no aplicativo, aumente explicitamente o número de streams de entrada no aplicativo usado pelo aplicativo. Isso é feito com o parâmetro InputParallelism.

Quando o parâmetro InputParallelism for maior que um, o Amazon Kinesis Data Analytics divide uniformemente as partições do stream de origem entre os streams no aplicativo. Por exemplo, se o fluxo de origem tiver 50 estilhaços e você definiu InputParallelism para 2, cada fluxo de entrada no aplicativo receberá a entrada de 25 estilhaços do fluxo de origem.

Quando você aumentar o número de streams no aplicativo, este deverá acessar os dados em cada stream explicitamente. Para obter informações sobre como acessar vários fluxos no aplicativo no seu código, consulte Acesso a streams no aplicativo separados no aplicativo do Amazon Kinesis Data Analytics.

Embora os fragmentos de stream do Kinesis Data Streams e do Firehose estejam divididos entre os streams no aplicativo da mesma forma, eles diferem na forma como aparecem no seu aplicativo:

Avaliações para saber se o número de streams de entrada no aplicativo deve ser aumentado

Na maioria dos casos, um único stream de entrada no aplicativo pode lidar com a taxa de transferência de um único stream de origem, de acordo com a complexidade e o volume de dados dos streams de entrada. Para determinar se você precisa aumentar o número de fluxos de entrada no aplicativo, você pode monitorar as MillisBehindLatest métricas InputBytes e na Amazon. CloudWatch

Se a métrica InputBytes for maior que 100 MB/s (ou se você antecipar que ela será maior que essa taxa), isso poderá causar um aumento em MillisBehindLatest e ampliar o impacto de problemas do aplicativo. Para resolver essa situação, recomendamos que sejam feitas as seguintes escolhas de linguagem para o aplicativo:

Se a métrica MillisBehindLatest tiver uma das seguintes características, aumente a configuração InputParallelism do seu aplicativo:

Não será preciso aumentar a configuração InputParallelism do aplicativo se:

Para obter mais informações sobre o uso CloudWatch, consulte o Guia CloudWatch do usuário.

Implementação de vários streams de entrada no aplicativo

Defina o número de streams de entrada no aplicativo quando um aplicativo for criado usando CreateApplication. Defina esse número após criar um aplicativo usando UpdateApplication.

Configuração da contagem do stream de entrada de um aplicativo novo

O exemplo a seguir demonstra como usar a ação da API CreateApplication para definir a contagem do stream de entrada de um aplicativo novo para 2.

Para obter mais informações sobre o CreateApplication, consulte CreateApplication.

{
   "ApplicationCode": "<The SQL code the new application will run on the input stream>",
   "ApplicationDescription": "<A friendly description for the new application>",
   "ApplicationName": "<The name for the new application>",
   "Inputs": [ 
    { 
      "InputId": "ID for the new input stream",
      "InputParallelism": { 
        "Count": 2
    }],
   "Outputs": [ ... ],
	}]
}

Configuração da contagem do stream de entrada de um aplicativo existente

O exemplo a seguir demonstra como usar a ação da API UpdateApplication para definir a contagem do stream de entrada de um aplicativo existente para 2.

Para obter mais informações sobre o Update_Application, consulte UpdateApplication.

{
   "InputUpdates": [ 
      { 
         "InputId": "yourInputId",
         "InputParallelismUpdate": { 
            "CountUpdate": 2
         }
      }
   ],
}

Acesso a streams no aplicativo separados no aplicativo do Amazon Kinesis Data Analytics

Para usar vários streams de entrada no aplicativo em seu aplicativo, selecione explicitamente entre streams diferentes. O exemplo de código a seguir demonstra como consultar vários streams de entrada no aplicativo criado no tutorial de Conceitos básicos.

No exemplo a seguir, cada fluxo de origem é agregado usando COUNT antes de serem combinados em um único fluxo no aplicativo chamado in_application_stream001. Agregar streams de origem de antemão ajuda a garantir que o stream no aplicativo combinado lide com o tráfego de vários streams sem ficar sobrecarregado.

CREATE OR REPLACE STREAM in_application_stream_001 (
    ticker VARCHAR(64),
    ticker_count INTEGER
);

CREATE OR REPLACE PUMP pump001 AS 
INSERT INTO in_application_stream_001
SELECT STREAM ticker_symbol, COUNT(ticker_symbol)
FROM source_sql_stream_001
GROUP BY STEP(source_sql_stream_001.rowtime BY INTERVAL '60' SECOND),
    ticker_symbol; 
        
CREATE OR REPLACE PUMP pump002 AS 
INSERT INTO in_application_stream_001
SELECT STREAM ticker_symbol, COUNT(ticker_symbol)
FROM source_sql_stream_002
GROUP BY STEP(source_sql_stream_002.rowtime BY INTERVAL '60' SECOND),
    ticker_symbol;
        

O exemplo de código anterior produz saída em in_application_stream001 semelhante a:

Considerações adicionais

Ao usar vários streams de entrada, esteja ciente do seguinte: