As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Limpar os recursos
Como você está pagando para usar o fluxo de dados do Kinesis, certifique-se de excluí-lo e de excluir a tabela do Amazon DynamoDB correspondente ao concluir. As cobranças nominais ocorrerão em um stream ativo mesmo quando você não estiver enviando e recebendo registros. Isso ocorre porque um stream ativo usa recursos por meio da "escuta" contínua de registros recebidos e solicitações para obter registros.
Para excluir o stream e tabela
-
Feche todos os produtores e consumidores que você ainda possa ter administrando.
Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.
-
Escolha o stream que você criou para este aplicativo (
StockTradeStream). -
Escolha Delete Stream (Excluir streaming).
Abra o console do DynamoDB em. https://console.aws.amazon.com/dynamodb/
-
Exclua a tabela
StockTradesProcessor.
Resumo
O processamento de uma grande quantidade de dados quase em tempo real não exige escrever códigos complicados ou desenvolver uma grande infraestrutura. É tão básico quanto escrever uma lógica para processar uma pequena quantidade de dados (como escreverprocessRecord(Record)), mas usar o Kinesis Data Streams para escalar de forma que funcione para uma grande quantidade de dados de streaming. Você não precisa se preocupar com a escalabilidade do processamento, porque o Kinesis Data Streams cuida de tudo. Você só precisa enviar seus registros de streaming ao Kinesis Data Streams e escrever a lógica para processar cada novo registro recebido.
Veja aqui alguns aprimoramentos potenciais para este aplicativo.
- Agregar em todos os estilhaços
-
Atualmente, você obtém estatísticas resultantes da agregação de registros de dados recebidos por um único operador proveniente de um único estilhaço. (Um estilhaço não pode ser processado por mais de um operador em um aplicativo ao mesmo tempo). Naturalmente, quando escala e tem mais de um estilhaço, você pode agregar em todos os estilhaços. É possível fazer isso tendo uma arquitetura de pipeline em que a saída de cada operador é alimentada em outro fluxo com um único estilhaço, o qual é processado por um operador que agrega as saídas do primeiro estágio. Como os dados do primeiro estágio são limitados (um exemplo por minuto por estilhaço), eles podem ser facilmente tratados por um estilhaço.
- Escalar o processamento
-
Quando o stream é expandido para ter muitos estilhaços (porque muitos produtores estão enviando dados), a maneira de escalar o processamento é adicionando mais operadores. Você pode executar os trabalhadores em EC2 instâncias da Amazon e usar grupos de Auto Scaling.
- Usar conectores para Amazon S3/DynamoDB/Amazon Redshift/Storm
-
Como um fluxo é processado continuamente, sua saída pode ser enviada para outros destinos. AWS fornece conectores
para integrar o Kinesis Data Streams com AWS outros serviços e ferramentas de terceiros.
