As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos
O Kinesis Data Streams é parte da plataforma de dados de fluxo Kinesis, juntamente com o Kinesis Data Firehose, Kinesis Video Streams e o Managed Service for Apache Flink.
Para obter mais informações sobre soluções de AWS big data, consulte Big Data on AWS
Tópicos
O que posso fazer com o Kinesis Data Streams?
É possível usar o Kinesis Data Streams para entrada e agregação de dados de forma rápida e contínua. O tipo de dados usado pode incluir dados de log de infraestrutura de TI, logs de aplicativo, mídias sociais, feeds de dados de mercado e dados de sequência de cliques da web. Como o tempo de resposta para a entrada e o processamento de dados é em tempo real, o processamento geralmente é leve.
Estes são alguns cenários típicos de uso do Kinesis Data Streams:
- Log acelerado e consumo e processamento de dados
-
É possível ter aplicações de produção que gerem dados diretamente em um fluxo. Por exemplo, gere logs de sistemas e aplicativos e eles estarão disponíveis para processamento em segundos. Isso evitará que os dados de log sejam perdidos se o servidor de front-end ou de aplicações falhar. O Kinesis Data Streams fornece uma entrada acelerada de dados, pois os dados não são organizados em lotes nos servidores antes de enviá-los.
- Métricas e relatórios em tempo real
-
É possível usar dados coletados no Kinesis Data Streams para análise simples de dados e geração de relatórios em tempo real. Por exemplo, seu aplicativo de processamento de dados pode funcionar em métricas e geração de relatórios para logs do sistema e de aplicativos à medida que os dados passam por ele em vez de esperar receber lotes de dados.
- Análise de dados em tempo real
-
Ela combina o poder do processamento paralelo com o valor de dados em tempo real. Por exemplo, processar clickstreams em tempo real e, em seguida, analisar o envolvimento da usabilidade do site usando várias aplicações diferentes do Kinesis Data Streams executadas em paralelo.
- Complexo processamento de stream
-
Você pode criar gráficos acíclicos direcionados (DAGs) de aplicativos e fluxos de dados do Kinesis Data Streams. Normalmente, isso envolve colocar dados de várias aplicações do Kinesis Data Streams em outro fluxo para processamento downstream por outro aplicação desse serviço.
Benefícios do uso do Kinesis Data Streams
Embora seja possível usar o Kinesis Data Streams para resolver vários problemas de dados em fluxo, um uso comum é agregar dados em tempo real e carregar os dados agregados em um data warehouse ou cluster de redução de mapa.
Os dados são colocados em fluxos de dados do Kinesis, o que garante durabilidade e elasticidade. O atraso entre o momento em que um registro é colocado no stream e o tempo em que ele pode ser recuperado (put-to-get atraso) geralmente é inferior a 1 segundo. Em outras palavras, uma aplicação do Kinesis Data Streams pode começar a consumir os dados do fluxo quase que imediatamente após sua adição. Como é um serviço gerenciado, o Kinesis Data Streams cuida da carga operacional de criar e executar um pipeline de entrada de dados. É possível criar aplicações de redução de mapa de fluxo. A elasticidade do Kinesis Data Streams permite escalar o fluxo. Assim, registros de dados nunca são perdidos antes que exirem.
Como várias aplicações do Kinesis Data Streams podem consumir dados de um fluxo, múltiplas ações como arquivamento e processamento podem ocorrer de maneira simultânea e independente. Por exemplo, dois aplicativos podem ler dados do mesmo fluxo. A primeira aplicação calcula agregados em execução e atualiza uma tabela do Amazon DynamoDB, e a segunda compacta e arquiva dados em um datastore, como o Amazon Simple Storage Service (Amazon S3). A tabela do DynamoDB com agregados em execução é então lida por um painel para relatórios. up-to-the-minute
A Kinesis Client Library permite o consumo de dados tolerante a falhas de fluxos e fornece suporte à escalabilidade para aplicações do Kinesis Data Streams.
Serviços relacionados
Para obter informações sobre como usar clusters do Amazon EMR para ler e processar fluxos de dados diretamente do Kinesis, consulte Conetor do Kinesis.
