Tutorial: Processar dados de ações em tempo real usando a KCL e a KCL 2.x - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Tutorial: Processar dados de ações em tempo real usando a KCL e a KCL 2.x

O cenário deste tutorial envolve consumir negociações do mercado de ações em um fluxo de dados e criar uma aplicação básica do Amazon Kinesis Data Streams para realizar cálculos no fluxo. Será explicado como enviar um fluxo de registros para o Kinesis Data Streams e implementar uma aplicação que consome e processa os registros em tempo quase real.

Importante

Depois de criar um fluxo, sua conta incorre em cobranças nominais pelo uso do Kinesis Data Streams, pois esse serviço não está qualificado para o nível gratuito da AWS. Depois de iniciada, a aplicação de consumo também incorre em cobranças nominais pelo uso do Amazon DynamoDB. A aplicação de consumo usa o DynamoDB para monitorar o estado do processamento. Ao terminar de usar esta aplicação, exclua seus recursos da AWS para parar de gerar cobranças. Para obter mais informações, consulte Limpar os recursos.

O código não acessa os dados reais da bolsa de valores, ele simula o fluxo de negociações de ações. Isso é feito com o uso de um gerador de negociações de ações aleatórias cujo ponto de partida são dados do mercado real referente às 25 principais ações por capitalização de mercado em fevereiro de 2015. Se houver acesso a um fluxo de negociações de ações em tempo real, pode ser interessante derivar estatísticas úteis e em tempo hábil desse fluxo. Por exemplo, talvez convenha executar uma análise de janela deslizante na qual se determine a ação mais popular que foi adquirida nos últimos 5 minutos. Ou talvez convenha uma notificação sempre que uma ordem de venda for muito grande (ou seja, tenha muitas quotas). É possível estender o código nesta série para oferecer essa funcionalidade.

É possível executar as etapas deste tutorial no desktop ou laptop e executar o código de produtor e de consumidor na mesma máquina ou em qualquer plataforma que ofereça suporte aos requisitos definidos.

Os exemplos mostrados usam a região Oeste dos EUA (Oregon), mas funcionam em qualquer região da AWS que oferece suporte ao Kinesis Data Streams.